百度文心一言体验评测：文字能力尚可，代码能力不佳

昨天拿到了百度文心一言的体验资格，赶紧去试了一下，这里给大家报告一下体验结果。下面我从这8个方面给大家展示一下百度文心一言的能力：

1、对古文的理解。（100分）

2、编写剧本、故事。（100分）

3、多轮对话的能力。（50分）

4、翻译能力。（80分）

5、联网总结文章的能力。（0分）

6、写代码能力。（10分）

7、调试Bug能力。（0分）

8、画画能力。（10分）

以上打分都是非常主观的感受，每个人都会有不同的心理分，上面只是小编自己的感受打分，仅供参考，无需当真。满分都是100分。

下面让我们具体感受一下文心一言的能力。

1对古文的理解。

Q:

今天晚上夕阳很美，可以太阳就要落山了。我想用古文发个朋友圈，应该这么说？

A:

"夕阳无限好，只是近黄昏。今宵天色美，可惜日落时。"

"今日夕阳甚美，可惜日暮已至。"

"夕阳犹未尽，黄昏已降临。"

"夕阳渐消散，余晖照山岗。"

"美景虽短暂，夕阳却甚好。"

Q:

我雄心勃勃想要干一番事业，现在正在踌躇满志。想用古文发个朋友圈，应该怎么说？

A:

吾志豪迈，欲建功业，见志未遂，踌躇满志。

今日思维通达，信心倍增，若逢机会，定当一展抱负。

欲投身于事业，奋发向前，披荆斩棘，创造辉煌。

这个环节文心一言的表现尚可，但是这个也是最简单的环节。答案从搜索结果中提取，应该就完成七八分了。

2编写剧本、故事

Q：

我想写一个小说，科幻类的，内容要包含人类登上火星，人类能够永生，且男女主角要有一段可歌可泣的爱情故事。请给我提供这个小说的大纲。

A：

小说大纲：

前言：人类的未来充满了科技的希望，人类登上火星，探索宇宙的奥秘，寻找永生的方法。

第一章：人类登上火星

男主角李宇是一名年轻的宇航员，他被选中参加人类登上火星的任务。在火星上，他遇到了女主角张琳，一位聪明美丽的科学家。两人一见钟情，但他们的爱情受到了各种挑战。

第二章：探索永生的方法

李宇和张琳在火星上度过了数月，他们不断探索宇宙的奥秘，寻找永生的方法。他们发现了一种神秘的物质，这种物质可以让人类获得永生。但是，这种物质却隐藏着巨大的危险。

第三章：阴谋的浮现

在探索永生的过程中，李宇和张琳逐渐发现了一个阴谋。原来，一些科学家和政府官员计划利用这种神秘物质，控制整个宇宙。他们不惜一切代价，甚至不惜牺牲无数人的生命，也要实现自己的目的。

第四章：爱情的考验

李宇和张琳决定要阻止这个阴谋，他们决定要找到背后的黑手，揭示他们的阴谋。在一次次的冒险中，他们逐渐接近了真相，但也遭遇了巨大的危险。

第五章：战斗的开始

在揭示阴谋的过程中，李宇和张琳遭遇了前所未有的挑战。他们不得不与政府官员和科学家进行激烈的战斗，为了保护人类的未来，他们必须要赢得这场战斗。

第六章：爱情的升华

在战斗中，李宇和张琳的感情不断升华，他们意识到，爱情是最伟大的力量。最终，他们成功揭示了阴谋，挽救了整个宇宙。

第七章：结局

李宇和张琳回到地球，他们的爱情也得到了圆满的结局。他们一起走过了漫长的旅程，经历了无数的冒险，最终他们走到了一起，过上了幸福的生活。

这就是小说的大纲，希望对你有所帮助。在写小说时，你可以根据自己的想法和故事情节，进行适当的修改和完善。

这个故事大纲大体令人满意的，ChatGPT 生成出来的故事大纲，也大概是这样的结构。

3多轮对话能力

Q：

基于前面你给出的第一章纲要，将第一章内容扩充为一个400字的故事。

A:

李宇是一名年轻的宇航员，他梦想着能够登上火星，探索宇宙的奥秘。在一次宇航选拔中，他凭借自己的才华和努力，成功地被选中参加人类登上火星的任务。

登上火星的那一天，李宇心情激动，他和其他宇航员们一起登上飞船，前往火星。当飞船离开地球，穿过大气层，他感受到了那种熟悉的刺痛感，他知道，他已经离开了地球，踏上了火星的土地。

在火星上，李宇和其他宇航员们遇到了很多挑战，他们需要面对严酷的环境，抵抗强烈的辐射，还要应对食物和水源的短缺。但是，他们并没有放弃，他们相互帮助，相互鼓励，一步步地向着目标前进。

在一次登陆火星的任务中，李宇和其他宇航员们终于发现了一种神秘的物质，这种物质可以让人类获得永生。他们兴奋不已，认为这是人类历史上的重大发现。但是，很快他们发现，这种物质却隐藏着巨大的危险。

原来，一些科学家和政府官员计划利用这种神秘物质，控制整个宇宙。他们不惜一切代价，甚至不惜牺牲无数人的生命，也要实现自己的目的。他们在秘密实验室里研究这种物质，却不顾及它对人类健康的危害。

李宇和张琳是一对恋人，他们也在探索永生的过程中结识。

可以看到，文心一言是有多轮对话能力的，知道我的目的是要扩充一个故事。但是它生成的内容，明显超出了第一章的范围，包含了后面章节的内容。也就是说，它没有完全理解我的要求，只有部分的理解能力。

接下来，我指出它的错误，看看它能不能道个歉，并改正。

Q:

你写的这段超出了第一章纲要的范围，发现神秘物质是第二章的内容，请纠正这个错误，重写改写第一章的内容，还是要求400字。

A:

第一章

人类的未来充满了科技的希望，人类登上火星，探索宇宙的奥秘，寻找永生的方法。

李宇是一名年轻的宇航员，他有着追求梦想的勇气和决心。在一次宇航选拔中，他凭借自己的才华和努力，成功地被选中参加人类登上火星的任务。他的女友张琳也是宇航员之一，他们一起登上飞船，前往火星。

当飞船离开地球，穿过大气层，李宇感受到了那种熟悉的刺痛感，他知道，他已经离开了地球，踏上了火星的土地。这个星球被巨大的温差和狂风暴雨所覆盖，但是这并没有让他们的激情减弱。

在火星上，李宇和张琳一起探索着这个神秘的星球，他们遇到了许多的挑战和困难。但是，他们相互支持，相互帮助，一起克服了所有的困难。他们发现了一个神秘的地方，那里充满了奇特的物质。

这种物质可以让人类获得永生，但是，李宇和张琳也发现了，这种物质隐藏着巨大的危险。一些科学家和政府官员计划利用这种物质，控制整个宇宙。他们不惜一切代价，甚至不惜牺牲无数人的生命，也要实现自己的目的。他们在秘密实验室里研究这种物质，却不顾及它对人类健康的危害。

李宇和张琳决定要阻止这个阴谋，他们决定要找到背后的黑手，揭示他们的阴谋。在一次次的冒险中，他们逐渐接近了真相，但也遭遇了巨大的危险。

在和政府官员和科学家的斗争中，李宇和张琳遭遇了前所未有的挑战。他们不得不与他们进行激烈的战斗，为了保护人类的未来，他们必须要赢得这场战斗。

在这场战斗中，李宇和张琳的感情不断升华，他们意识到，爱情是最伟大的力量。最终，他们成功揭示了阴谋，挽救了整个宇宙。

在回到地球的路上，李宇和张琳一起走过了漫长的旅程，他们经历了无数的冒险，最终他们走到了一起，过上了幸福的生活。他们的爱情也得到了圆满的结局，他们将一起走过更长的路程，迎接未来的挑战。

没有道歉，有点失望，ChatGPT是会道歉的。另外，错误也没有被纠正，依旧包含了后面章节的内容。理解能力相比ChatGPT是差了一大截的。没办法，我把第一章的内容复制一遍，看看能不能依据这个具体内容进行扩展。

Q:

第一章内容如下：男主角李宇是一名年轻的宇航员，他被选中参加人类登上火星的任务。在火星上，他遇到了女主角张琳，一位聪明美丽的科学家。两人一见钟情，但他们的爱情受到了各种挑战。请将这个剧情扩充为400字。

A:

李宇和张琳来到火星，他们对这个未知的世界充满了好奇。这里的空气是如此稀薄，地面温度极低，让人难以适应。但是他们并没有被这些挑战所吓倒，相反，他们更加兴奋地探索着这个神秘的星球。

在一次探险中，他们发现了一个神秘的洞穴。洞穴里面有许多奇特的物质，它们发出闪亮的光芒。李宇和张琳对这些物质非常感兴趣，他们决定深入研究一下。

在研究过程中，他们发现这些物质可以让人类获得永生。这个发现让他们非常兴奋，因为这意味着人类可以永远生存下去，不再需要面对死亡的恐惧。但是他们也发现，这种物质对人体有着巨大的危害。

李宇和张琳决定要寻找这种物质的来源，他们希望能够找到一种更加安全的方法来使用它。在他们的探险过程中，他们遇到了一些科学家和政府官员，他们告诉他们，这种物质是由一个叫做黑暗组织的秘密团体制造出来的。

李宇和张琳决定要调查这个组织，他们希望能够找到证据来揭露他们的阴谋。在他们的调查过程中，他们遭遇了许多的困难和危险，但是他们并没有放弃，相反，他们更加勇敢地前进着。

最终，李宇和张琳成功地揭露了这个组织的阴谋，他们将这些证据交给了政府和科学界，使得他们得以安全地使用这种物质，让人类得以永远生存下去。

还是包含了其他章节的内容，可见文心一言的这个多轮对话，就是包含了之前对话的全部内容，对每一句的具体含义理解不足。

4翻译能力

第一个问题我让文心一言进行英译中，没问题。第二个问题我让它将中文翻译为英文和日文，它翻译成了英文，没有翻译日文。这个文心一言的启动页上有说明，说它只会中文和英文。结果合理。

然后我让它单独翻译成日文，它还是翻译成了英文。

没有成功翻译成日文，我觉得不是问题，甚至说明了百度的诚实。首先，文心一言自己说了不会英文以外的其他语言，不会就不会，没什么关系。其次，至少说明了这个翻译功能是大语言模型的输出，而不是把文本发给百度翻译进行处理（百度翻译是可以翻译成日文的），说明百度确实是老老实实地在开发类 ChatGPT 的大语言模型，而不是用已有的功能糊弄我们。我也去百度翻译试了下，确实翻译结果跟文心一言不一样：

5联网总结文章能力

这个功能简单一句话概括：没联网。

6写代码

无论是Shell，还是Web，还是Python，输出的代码基本都是一本正经地胡说八道（文心一言努力在写，但是就是做不到）。另外文心一言输出的最大字数很小，无法输出一个完整的脚本代码。

!/bin/bash定义一个名为 `container_names` 的字符串数组container_names=("barrager-server-01""barrager-worker-01""qunstats-worker-01""qunstats-server-01""qunstats-schedule-01""qunstats-consumer-01""voidcloud-server-01""voidcloud-worker-01""voidcloud-worker-01")定义一个名为 `get_container_name` 的函数，用于根据参数项目名称从 `container_names` 数组中获取对应的容器名functionget_container_name() {localproject_name=$1localcontainer_name=${container_names[$project_name]}echo$container_name}测试脚本参数为barrager时的操作if["$1"="barrager"];thendocker run --name barrager-server-01 -d -p 8080:8080 barrager  
  docker run --name barrager-worker-01 -d -p 8080:8080 barrager  
  docker run --name qunstats-worker-01 -d -p 8080:8080 qunstats  
  docker run --name qunstats-server-01 -d -p 8080:8080 qunstats  
  docker run --name qunstats-schedule-01 -d -p 8080:8080 qunstats  
  docker run --name qunstats-consumer-01 -d -p 8080:8080 qunstats  
  docker run --name voidcloud-server-01 -d -p 8080:8080 voidcloud  
  docker run --name voidcloud-worker-01 -d -p 8080:8080 voidcloud  
  docker run --name voidcloud-worker-01 -d -p 8080:8080 voidcloudfi

输出的Shell脚步没有实现既定功能，函数定义也很不合理。但是能看出，技术路线确实是类似ChatGPT的，有生成过程，每段代码也有对应的解释，只不过写的不对罢了。

让文心一言写一个Web页面，展示一颗爱心，代码没有输出完整。

Python代码也是，没有输出完整。问题是：写一段Python脚本，来将4张图片和一段音频合成为一段视频。

import cv2  
import os设置输入和输出文件夹路径input_folder ="path/to/input/folder/"output_folder ="path/to/output/folder/"获取所有输入文件images = []  
for filename in os.listdir(input_folder):  
    if filename.endswith(".jpg") or filename.endswith(".png"):  
        images.append(os.path.join(input_folder, filename))获取所有输出文件videos = []  
for filename in os.listdir(output_folder):  
    if filename.endswith(".mp4"):  
        videos.append(os.path.join(output_folder, filename))读取音频文件audio_file ="path/to/audio/file.mp3"audio_format ="pcm_s16le"audio_file_path = os.path.join(input_folder, audio_file)  
audio_reader = cv2.AudioReader(audio_file_path, audio_format)读取图片文件image_files = []  
for filename in os.listdir(input_folder):  
    if filename.endswith(".jpg") or filename.endswith(".png"):  
        image_files.append(os.path.join(input_folder, filename))设置视频参数fourcc = cv2.VideoWriter_fourcc(*"mp4v")  
fps = 30.0  
size = (640, 480)创建VideoWriter对象fourcc_out = cv2.VideoWriter_fourcc(*"mp4v")  
out = cv2.VideoWriter(os.path.join(output_folder,"output.mp4"), fourcc_out, fps, size)写入视频参数for filename in image_files:  
    image = cv2.imread(filename)您可能需要根据您的实际需求进行调整。

7调试Bug

代码写不出来，调试Bug自然也不能报什么期望。

我还没说具体的代码呢，自己就输出了一堆，说了一堆改进意见，结果改了的代码和没改的代码是一样的，明显就是出现幻觉了。

但是就算是一个最简单的变量未定义的bug，文心一言也看不出来，它的回答明显是瞎蒙的。它连我写的是Python代码都没看出来。

8画画（Text to Image）

画出来的感受就是像没有调教过的 Stable Diffusion。跟 Midjourney 比，还拿不出手。

总结

总结一下吧，百度文心一言总的来说，确实认真在做了，技术实现货真价实、不蒙不骗，值得鼓励和期待。目前的水平距离 ChatGPT 3.5 还有很大差距。差距原因猜测的话，可能训练的语料确实量远远不足，人家默默做3年，这个时间成本规避不掉的。个人倾向于认同搜狗CEO王小川的说法，文心一言追上ChatGPT，还需要小一年时间。同时，文心一言也值得相信，百度能做出类ChatGPT的产品，让我们给百度一点时间，也给其他中国厂商一点时间，中国厂商能行的！