1987WEB视界-分享互联网热门产品和行业

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

ChatGPT革命!尝鲜者的喜与忧

1987web2023-04-23人工智能AI240

做ChatGPT好比踢足球,踢足球都是盘带、射门,但是要做到梅西那么好也不容易。

常识在人工智能领域,一个基础常识是,算法训练是一件没有办法弯道超车的事情。自2018年推出第一代生成式预训练模型GPT-1起,OpenAI用了近6年的时间沉淀出了当前的大语言模型。图源/hellorf

以ChatGPT为代表的人工智能内容生成技术能为人们做些什么?文案宣传、智能营销、智能风控、代码编写……近期,国内如雨后春笋般冒出的众多团队与公司,都试图用自己的途径回答问题。但ChatGPT真的这么简单吗?

踢足球都是盘带、射门,但是要做到梅西那么好也不容易。3月5日,中国科技部部长王志刚用踢足球比喻ChatGPT,直言从这一点看,ChatGPT在技术进步上,特别是保证算法的实时性与算法质量的有效性上,非常难。

复旦MOSS团队:路还很长

前不久,复旦大学计算机科学技术学院邱锡鹏团队发布类ChatGPT模型MOSS。一经发布,MOSS就火了。2月20日发布当日,MOSS就收到大量内测申请、采访、投资、合作邀约——因为ChatGPT的火热,公众对于这项原本局限于NLP(自然语言处理)学术圈的新技术热情高涨。

据了解,早在2021年,邱锡鹏团队就已经在探索中文生成式预训练领域,还做了相关模型,并开源供他人下载,平均每月都有上万次下载。随着研究的深入,团队提出了语言模型即服务概念,将基础语言模型视作语言服务的基石。2022年,邱锡鹏团队开始在训练大型语言模型上下功夫。此后,又用了半年时间,研究如何使大型语言模型理解人类指令以及具备对话能力。

令邱锡鹏团队最兴奋的一天,是今年春节前的腊月二十八。项目主开发者、计算机科学技术学院博士研究生孙天祥,在常规的测试过程中输入了一个中文问题,MOSS却以英文正确回答,就像一个不会说但听得懂中文的人。值得注意的是,当时那个版本的MOSS还很初级,中文语料占所有训练数据不到0.1%。

很神奇,我们没有教过它机器翻译。MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他把MOSS比作一个聪明的小孩,即便现在还不擅长写诗、解题或很多具体的事,但已展示出成为通用人工智能(AGI)大框架的潜能,很多遥不可及的事情,它一点就通了。

在不少人看来,ChatGPT、MOSS这类大型语言模型与现在我们日常使用的小爱同学、Siri这样的语音助手似乎差别不大。真的是这样吗?邱锡鹏打了个比方,解释道:这两者的关系就像智能手机和功能手机。之前的聊天系统还属于弱人工智能,设计它们就是用来聊天的,正如传统的功能手机只能用来打电话;而现在的大型语言模型,像ChatGPT、MOSS,它们能做很多事,聊天只是功能之一,就像智能手机可以用来打电话,但它的功能远远不止于此。

邱锡鹏也坦言,与ChatGPT相比,MOSS的最大差异还是参数规模。ChatGPT的参数量多达1750亿个,而MOSS的参数量比其小一个数量级,大约是前者的1/10左右。邱锡鹏团队认为,这个规模在财力物力承受范围之内,也使模型具备一定的智能。实验结果证实了团队的猜想,MOSS模型可以非常顺利地与人类进行聊天互动。邱锡鹏介绍,MOSS的特点是小规模,比较容易适应个性化模型,可以赋予更多专业化能力,利于企业内部私有部署,经过一些数据微调就可以转化为生产力。

2月20日,MOSS上线当晚,网站一度瘫痪。邱锡鹏团队在官方回应中表示,MOSS还是一个不太成熟的模型,计算资源不足以支撑庞大的访问量,距离ChatGPT还有很长的路要走。在MOSS完成初步验证之后,团队会将经验、代码、模型参数开源出来供大家参考。中国版ChatGPT的诞生还需要中国全体AI从业者的共同努力,更需要不断和人交互以提高能力。团队也将坚持对最前沿AI模型的不懈追求。

AI从业者:一天成本要3亿

在国内ChatGPT的追逐赛道上,除了作为重头戏的头部科技公司与专家研究团队,还有不少想要尝鲜ChatGPT的个人,但他们往往无法迈出第一步。

若用ChatGPT的方法,以小冰框架当前支撑的对话交互量计算,每天成本将高达3亿元,一年成本超过1000亿元。在来自大洋彼岸的这股科技潮最初传导至国内之时,小冰CEO李笛就为不少想要尝试做国内ChatGPT的人泼了一盆冷水。

马新几乎是国内最早接触到ChatGPT那批人。2022年11月30日,ChatGPT发布,5天内涌入100万用户。马新深受触动,开始考虑自己做类ChatGPT的可行性。

我本身从事的是AI行业。ChatGPT拥有持续的上下文对话能力,同时支持文章写作、诗词生成、代码生成等。这让我很是惊讶。马新知道,这对AI行业是颠覆性的,它不在于技术上的创新,而在于向大众展示了一个全新的使用技术的途径,那就是NLP任务(自然语言处理)中基于大型语言模型(LLM,LargeLanguage Model)演进出的GPT。马新认为,NLP任务(自然语言处理)的核心逻辑是猜概率。现阶段所有的NLP任务,都不意味着机器真正理解这个世界,他只是在玩文字游戏,进行一次又一次的概率解谜,本质上和我们玩报纸上的填字游戏是一个逻辑。只是我们靠知识和智慧,AI靠概率计算。这决定了如果没有大量资金支持,AI便无法进行足够的语言预训练。正如ChatGPT铺天盖地的宣传里总是离不开这样一句话:在拥有3000亿单词的语料基础上预训练出拥有1750亿参数的模型。如果说3000亿单词是训练数据,那么1750亿参数就是沉淀下来的AI对这个世界的理解。了解到训练步骤需要花费的资金后,马新彻底打消了试水ChatGPT的念头。做中国版ChatGPT是百度、阿里这样的大厂才敢拥有的野心。而其它挂着ChatGPT概念的公司,几乎只能局限在很小的领域,资金不足以支撑语言训练是最大的问题。

而在多位行业人士看来,要做中国ChatGPT,不光是语言预训练的问题。与OpenAI相比,国内大厂在算力和算法方面与之同样有差距。高性能GPU是人工智能的基石。去年英伟达高端GPU芯片对中国供应受限,有行业人士算了一笔账:想要训练与ChatGPT相匹敌的大模型,每年在显卡、CPU等设备方面投入的成本高达10亿美元。面对如此庞大的现金流需求,不少人预判,微软、谷歌这样的硅谷大厂有这个能力,国内大厂有这一实力的也少。

李笛认为,与其说中美两国在人工智能领域有巨大的技术壁垒,不如说有一定的时间壁垒。时间壁垒带来的则是算法方面的差距。一个基础常识是,算法训练是一件没有办法弯道超车的事情。自2018年推出第一代生成式预训练模型GPT-1起,OpenAI用了近6年的时间沉淀出了当前的大语言模型。这6年的差距没办法用半年的时间实现超越,除非有天才少年用更加完善的算法框架实现降维打击。

其实,不少AI从业人士同样认为,由于人工智能对算力、算法、时间的要求很大,其成本压力太高,因此,AI必须要找到一个明确具体的垂直场景。

与其临渊羡鱼,不如退而结网。对于许多国内公司而言,基于ChatGPT的场景赋能应用,或许是新一轮科技军备竞赛中的理性选择。

举报/反馈

2、写小说

"写一本拥有出人意料结局的推理小说。""写一个让读者参与其中的交互小说。""为孩子们写一本激励他们勇敢面对挑战的小说。""编写一个有关科技创新的未来世界的小说。""创造一个让读者感到沉浸其中的幻想故事。"

3、充当 Linux 终端

我想让你充当 Linux 终端。我将输入命令,您将回复终端应显示的内容。我希望您只在一个唯一的代码块内回复终端输出,而不是其他任何内容。不要写解释。除非我指示您这样做,否则不要键入命令。当我需要用英语告诉你一些事情时,我会把文字放在中括号内[就像这样]。我的第一个命令是 pwd

4、充当英语翻译和改进者

我希望你能担任英语翻译、拼写校对和修辞改进的角色。我会用任何语言和你交流,你会识别语言,将其翻译并用更为优美和精炼的英语回答我。请将我简单的词汇和句子替换成更为优美和高雅的表达方式,确保意思不变,但使其更具文学性。请仅回答更正和改进的部分,不要写解释。我的第一句话是how are you ?,请翻译它。

5、充当论文润色者

ChatGPT使用指南实战分享

前言ChatGPT是由OpenAI训练的一款大型语言模型,能够和你进行任何领域的对话。它能够生成类似于人类写作的文本。您只需要给出提示或提出问题,它就可以生成你

  • 下一篇一文读懂ChatGPT

    一文读懂ChatGPT

    ChatGPT是什么?