ChatGPT之父称巨型人工智能模型时代已结束

参考消息网4月21日报道初创公司开放人工智能研究中心(OpenAI)推出的聊天机器人ChatGPT(聊天生成预训练转换器)的功能令人惊叹,这促使外界对人工智能领域的兴趣和投资激增。
但据美国《连线》月刊网站4月17日报道,上周末,该公司首席执行官萨姆·奥尔特曼发出警告:创造这款机器人的研究战略已经失去效用。尚不清楚未来的进展将出自何处。
近年来,OpenAI采用现有的机器学习算法,并将之扩大到以前难以想象的规模,在人工智能语言模型领域取得了一系列令人印象深刻的进展。该公司在训练这些项目中的最新模型GPT-4时,可能利用了数以万亿计的文本文字和数以千计功率强大的计算机芯片。这个过程需要超过1亿美元的开支。
但是,奥尔特曼说,即使扩大模型规模,也不会取得更大进展了。上周末,他在美国麻省理工学院举办的一次活动中告诉人们:我认为我们已处于这种巨型模型时代的末期。我们会用其他方法改进它们。
奥尔特曼的断言表明,在开发和应用新的人工智能算法的竞赛中出现了意想不到的转折。自去年11月OpenAI推出ChatGPT以来,微软公司利用其底层技术为必应搜索引擎增加了聊天机器人功能;谷歌公司推出了与必应竞争的聊天机器人巴德。很多人一拥而上,尝试用新一代聊天机器人协助完成工作或个人任务。
与此同时,无数资金充裕的初创公司正在斥巨资打造规模更大的算法,努力追赶OpenAI的技术。OpenAI在稍加升级GPT-3的基础上推出了ChatGPT的最初版本,而用户现在能够使用功能更强大的GPT-4驱动的版本。
奥尔特曼发表的声明表明,GPT-4可能是OpenAI的战略——扩大模型规模并为之提供更多数据——能够产生的最后一项重大进展。他没说哪种研究战略或技术可能会取而代之。OpenAI在描述GPT-4的论文中说,它的预测表明,扩大模型规模的收益在减少。奥尔特曼说,公司能够建立的数据中心的数量以及建设速度,也存在客观限制。
加拿大科希尔公司联合创始人、曾在谷歌公司人工智能部工作的尼克·弗罗斯特说,奥尔特曼觉得扩大模型规模不会永远奏效,这一观点确实有道理。他也认为,要在转换器(GPT-4及其竞争对手的核心机器学习模型)方面取得进展,不是规模的问题。
他说:有很多办法能让转换器变得更好、更有用,其中很多跟扩大模型规模无关。他指出,新的人工智能模型设计(或结构)以及基于人类反馈的进一步微调,都是很多研究人员开始探索的前景光明的方向。
OpenAI颇具影响力的语言算法组的每个版本都包括人工神经网络,在接受训练后,可预测会跟在一段给定文本后出现的字词。
GPT-2是这种语言模型中较早的一个,于2019年推出。它最多有15亿个参数。当时,与之前的系统相比,GPT-2已经极其庞大了,部分原因在于,OpenAI的研究人员发现,扩大规模可以让模型更连贯。
2020年推出的GPT-3规模更大,其参数达到惊人的1750亿个。该系统生成诗文、电子邮件及其他文本的综合能力令其他公司和研究机构坚信,应将自己的人工智能模型扩大至类似甚至更大规模。
在ChatGPT去年11月亮相后,一些技术权威猜测,等到GPT-4推出时,它将是一种规模和复杂度令人目眩的模型。而当OpenAI终于公布这一新的人工智能模型时,公司并未披露其规模到底有多大,也许是因为规模已不再那么重要。
-
上一篇
ChatGPT标志 图
面对聊天机器人ChatGPT爆火,终于有国家监管机构出手了。
当地时间3月31日,意大利个人数据保护局宣布,从即日起禁止使用聊天机器人ChatGPT,限制其开发公司OpenAI处理意大利用户信息,并开始立案调查。
意大利:禁止使用ChatGPT,对开发公司立案调查
-
下一篇
从ChatGPT出世到现在快半年了,这半年它给我们带来许多革新性的消息,大量的资本向它靠拢,人们也有保不住饭碗的危机感。作为数据工作者,ChatGPT对我来说不是那么陌生。
近几个月也体验了ChatGPT,它带给我的感受确实很惊艳,提出各种各样的问题,都能回答的不错。获得知识变得比原来更容易了。网络上有很多关于ChatGPT的新闻,大多数是关于AI革命,人工智能突破了,要夺走我们饭碗之类的。于是也开始对GPT做了一些深入了解,其中有很多问题都是GPT给我的答案,今天想在这里把我对GPT的理解总结一下。
一、ChatGPT没有意识,它是仿生人类学习的语言模型
1. 先简单的了解一下ChatGPT
ChatGPT是个大语言模型,那为啥叫大语言模型?我特意问了行业内的专业人士,大模型的要素是超多的数据量、超多的计算集群、超多的模型参数。
这几天工作中和同事聊天,他说他回家的路上下载了一个英文词典大全,有2mb的大小。GPT3训练使用了45tb的数据,45tb基本上也都是文本数据,所以训练gtp3的数据量级是一本字典的23,517,744,000(百亿)倍。我们不经感叹,一个英文字典的实体书拿在手上沉甸甸的,里面的内容可能我们一生也读不完整,但它仅仅只有2mb的大小。
gpt的回答:
在参数数量和训练资源上,GPT3有1750亿个参数,用了数千个高端的GPU进行了训练,是个典型的大模型。同事们说其实GPT就是大力出奇迹,因为数据、参数量级上来了,在语言的理解和表达上就越来越准确。
2. 训练语言模型核心是模拟人脑训练过程
我们从出生那一刻开始就在持续的接收数据开始训练了。想想看,你听到的声音、触摸到物体的感受、闻到的气味、看到的图像都会转化成信号,传输入到你的大脑中,并且默默地接受慢慢的训练,且一直持续。在训练的过程中,好的不好的感受你都会体会到,别人的反馈,会让你知道什么是对的,什么是错的。这个过程对于人来说,会持续一生,活(训练)到老学到老嘛。
语言的训练模型就是这个原理,很多人比喻它是鹦鹉学舌的过程。训练它的数据就是在互联网上产生的数据。这也是它远远远强于人类的地方,它汇集了整体人类的智慧。
3. ChatGPT是否能取代人类?
网上关于人工智能时代来临了,要取代人类了,灭杀人类的新闻吹的天花乱坠,一时间让很多人信以为真。我通过实际体验ChatGPT的功能,是真的让人感觉在和一个人聊天。
在早些年,我们在网上客服上和机器人沟通就是定式的,感觉很刻板。例如早期的微软小冰,对话过程是没有这么柔性的衔接的。一是不能联系上下文,二是回答的问题很刻板,让你很明显感觉它是机器。但ChatGPT的产品体验已经非常接近人了,让机器能够和人顺畅的通过自然语言对话,至少这种感觉非常真实,这种突破确实让人觉着机器有了生命,于是它带给人们的恐惧感就扑面而来,这本身就是人们的普遍心理反应。
ChatGPT本质上就是个大力出奇迹的计算效果,它根据你的输入,来算出回答概率最高的答案。它没有意识,只有你和它说话,它才会回答你,它不会主动和你沟通。
二、ChatGPT在人机交互上的革新
ChatGPT不是技术革命,它的技术很早就出现了,它在这个时间出现,是必然的,因为现在满足了训练模型的大数据量和大计算量基础。对产品来说,想象的空间还是挺大的。
我认为,ChatGPT的真正突破在于人机交互上的革新。刚体验ChatGPT的时候,我觉着它很神奇,它什么都会,还能帮你做很多事,写文章、回答一些天马行空的问题,还能写代码,搭建个小网页,给我一种无所不能的感觉。它具备了理解你的意思,并帮助你做事情的两个最基本能力。
那为什么说ChatGPT的突破在人机交互上?作为一个老产品人,人机交互是产品经理工作中非常重要的一环,我们会花费很多时间来研究人机交互,设计页面结构、功能、画原型、想尽办法提高用户产品使用体验。
说白了就是怎么能够让自己的产品好用,怎么让用户不用花费太多的学习成本快速的上手自己的产品。简单的说人机交互就是功能按钮、页面的布局摆放,往深了说,它要研究人的心理,要通过数据进行交互统计,对用户体验度量,要了解用户的心智,好的产品体验在人机交互上一定做的很好。
但是以往的人机交互,我们努力的方向是让人来适应机器。
我们通过良好的设计,把用户限定在一个条条框框里(交互框架),核心目的就是让机器能够在这个框架中充分理解人的动作’,因为我们无法通过眼神、肢体动作、语言来让机器直接理解我们意图,我们必须把产品的实际功能摆放出来,让用户理解产品功能,逐步摸索用法。这个过程实际上是人与机器在交互上的折中方案,人不能无所顾忌的让机器随心所欲干什么事情。
好的交互体验无需说明书,更贴近人的本性。举个简单的例子,苹果手机的屏幕使用方式(交互)(2007年乔布斯发布的iphone一代机),从二岁的孩子到80岁的老人,不用教,看别人用两次就会了。因为这个设计符合人的一般使用习惯。现在的应用程序,拿ios应用来讲,产品设计基本都使用苹果给出的基本交互框架,或者基于这个框架衍生发展出来的。例如底层页、瀑布流、九宫格、tab页的设计等等。
我对ChatGPT的理解和思考
ChatGPT从出世到如今已经快半年了,带来的革新消息有很多,然而也有很多的人在利用它提升自己的工作效率。作者对ChatGPT做了深入的研究,并从三个方面分享自