1987WEB视界-分享互联网热门产品和行业

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

GPT-4:超越随机鹦鹉的语言模型,能否掌握抽象算法?

1987web2023-05-22人工智能AI816
语言模型是一种利用深度学习技术,根据大量的文本数据,生成类似于人类语言的文本的系统。OpenAI的GPT系列是目前最先进的语言模型之一,最新的GPT-4在创造力、视觉输入和更长的上下文方面都

语言模型是一种利用深度学习技术,根据大量的文本数据,生成类似于人类语言的文本的系统。OpenAI 的 GPT 系列是目前最先进的语言模型之一,最新的 GPT-4 在创造力、视觉输入和更长的上下文方面都有了显著的提升。但 GPT-4 究竟是如何工作的呢?它是否只是根据统计规律预测下一个词,还是真的能够理解语言背后的含义和逻辑呢?

超越随机鹦鹉的语言模型.jpeg

有人认为,GPT-4 只是一种高级的 n-gram 模型,即一种根据前 n 个词来预测下一个词的方法。这种方法不需要掌握语言的语义或抽象概念,只需要存储大量的词组概率就可以生成像模像样的句子。但这种观点忽略了一个重要的问题:数据量。如果 GPT-4 真的是用这种方法来生成文本,那么它所需要的数据量将是天文数字,足以让整个宇宙坍缩成黑洞。

GPT-4 能够对未知的数字进行正确的排序.jpeg

因此,有研究人员提出了另一种观点:GPT-4 必须学会抽象才能有如今的效果。他们通过两个实验来证明这一点。第一个实验是将经典的农夫过河问题中的元素替换成其他词语,然后让 GPT-4 来解决。结果显示,GPT-4 能够给出正确的答案,而 GPT-3.5 则不能。第二个实验是让 GPT-4 学习数字排序。结果显示,GPT-4 能够对未知的数字进行正确的排序,而不是仅仅记住给出过的数字顺序。

这些实验表明,GPT-4 不仅能够生成文本,还能够理解文本中涉及到的问题,并且掌握了背后的抽象算法。这使得 GPT-4 超越了随机鹦鹉的水平,成为了一种更智能、更可靠、更有创造力的语言模型。