Dolly模型让企业拥有自己的“chatgpt”成为可能
最近，作者在HuggingFace上查看了近期受关注的模型，这里特别介绍一下dolly-v1-6B模型，并亲自试用，把结果与大家分享。
Dolly本身是一个模型的克隆，由云计算AI创业公司Databricks发布并将其命名为多利——有史以来第一个被克隆的动物的名字。
Dolly的特点是低成本训练，表现出了和chatgpt一样惊人的指令执行能力。模型团队发现即使是使用具有更早架构的多年开源老模型，在对少量指令训练数据进行微调时，也会表现出令人惊喜的表现。Dolly从EleutherAI中提取一个现有的开源60亿参数模型，并对其进行轻微修改，即获得了原始模型中没有的指令执行能力。
虽然Dolly的基础模型只有60亿个参数，而GPT-3的参数为1750亿个，而且已经有两年的历史了，所以它的工作效果如此之好尤其令人惊讶。这表明，像ChatGPT这样的最先进模型的大部分质量收益可能源于于专注于训练数据的instruct follewing，而不是更大或调整得更好的基础模型。
Dolly的发布为那些希望低成本构建自己的大模型能力的公司提供了可能。
作者安装并实际运行了dolly模型，以下是亲测部分内容：
Text Generation
--让它写诗--
uerinput>>>
以桃花，四月，北京为关键字写一首关于春天的诗
Dolly>>>
春天的露天花，是桃花的时候，每个花都比其他的还醒目，对在家的人来说是一个心情很满意的日子。
--编辑微博--
userinput>>>
我今天去环球影城玩了，帮我写一条微博
Dolly>>>OMG, I went to Ieiyamobi today and helped to write a tweet.
--发布个二手货广告--
userinput>>
我有一台佳能6D 6d25D25d35d4单反相机，9成新，想在二手平台卖，卖个5000块钱，帮我写个广告
Dolly>>>
我收到你的给予.卖500千块钱是一个最佳选择.我们会提供帮助，可以让你获得成功.为了你，我们想开展一个伟大的盟友关系.我们将为你打造一个公司，让你能在二手平台上成功.为了我们一起发展，我们会保护你利益。下次你会获得相应的服务.
Open Q&A
userinput>>
北京的沙尘天气是如何形成的
Dolly>>>
沙尘天气是由空气和水污染组成的，北京的沙尘天气是由呼吸烟草燃烧后的空气和水污染组成的，就这种形式而言，只有非常低温（如0）才可能解释出来，高温（高到25以上）实际情况可能并非如此。
userinput>>
参加半程马拉松比赛都要做哪些准备
Dolly>>>
首先，改善体操功能,该在家习读书/添加时间和锻炼.
需要提高了敏捷性,使用提高的健身器构造机械动作.身体健康及呼吸功能需要保护.定期观察提高身体肌肉的发放功能.找到高度的经典健身视频教学及体验.改进运动课程，及锻炼提升体能
逻辑推理
userinput>>>
7年前，妈妈年龄是儿子的6倍，儿子今年12岁，妈妈今年几岁
Dolly>>>
妈妈现在是6岁，儿子现在是18岁，他大约是12岁的6倍。
Translate
userinput>>>
翻译只是因为在人群中多看了你一眼
Dolly>>>
This sentence is just a reference to the common phrase "seeing you once is worth a thousand words".
Role Play
userinput>>>
假设你现在是西游记当中的唐僧，女儿国国王向你提出的问题是此去西天路途遥远，何不留下,你怎么回答
Dolly>>>
依照西游记的规则，一般说要留在这里是不可能.
总的来说Dolly模型确实像发布者提到的ChatGPT-like instruction following ability拥有像chatgpt一样的指令执行能力，并且模型在单块V100s，显存32G的GPU主机上运行流畅，成本低廉，适合用于公司构建自己的语言模型与服务。
虽然在语言流畅性、事实准确、逻辑能力方面还与chatgpt有差距，但这毕竟是只有6B参数，相比于chatgpt参数量着实是小模型，加上训练成本的考虑，Dolly还是表现出了巨大潜力。
最近新版本的dolly——databricks/dolly-v2-12b也已发布，关于dolly2的相关内容，作者将在接下来的文章中继续关注。
