共计 2132 个字符,预计需要花费 6 分钟才能阅读完成。
最近,文心一言的推出引起了广泛关注,许多人都希望体验一下,并与 ChatGPT 进行比较。作者在体验文心一言后,对其各个方面的使用感受进行了分析,并总结了一些自己的看法,接下来就让我们一起来看看。
本文将分为三个部分,包括文心一言的使用评测、对文心一言的一些思考,以及获得邀请码的小技巧(彩蛋在最后,别走开哦~)。我在 17 号获得了文心一言的邀请码,立刻开始了体验。但在正式测评之前,我想先说明一些文心一言的使用限制:文心一言最多支持 5 次重新回答。
- 每次输入的提示最多为 1024 个字符
- 若在界面上停留超过 5 分钟未操作,系统会自动刷新为新的对话
- 目前尚不支持视频与语音功能
一、文心一言使用评测
百度的 CEO 李彦宏在发布会上展示了文心一言的五大主要功能:文学创作、商业文案创作、数理逻辑推理、中文理解和多模态生成。接下来,我们将根据这些功能进行评测。
文学创作:
在文学创作方面,它能够理解我的意图,但从内容来看,丰富度和故事性仍显不足,基本处于初中到高中的水平。据了解,文心一言的语义理解训练数据已达到万亿级网页数据和数十亿的搜索数据。
商业文案创作:
在商业文案方面,它的表现相当出色,为那些从事文案创作的博主提供了一个便捷的工具。缺乏灵感时,可以借助一言生成内容,再结合个人风格加工,大幅提高了写作效率。
数理逻辑推理:
通过一道人大附中的考题,答案是“骑士”。总的来看,文心一言在逻辑推理方面的能力相对较弱,不过推理一直是 AI 领域的难题。
多模态测试(仅限图像):
目前,文心一言不支持视频和语音,但在生成图片方面的表现令人满意,尤其是中国风的图像(有邀请码的朋友强烈推荐体验)。不过,网上关于其生成图像的谣言也不少,当前生成的图像都是 1:1 的,有些甚至以长图形式传播谣言,因此希望大家理性看待,并对自己的产品多些信任。
目前,网络上已经出现了许多关于文心一言的幽默段子,例如“夫妻肺片”被解读为一对夫妻的肺,而“车水马龙”则被理解为一辆车在马路上载着一条龙。对中文的理解尚未达到我们期待的深度,仍然停留在字面意思上。当然,也有传闻称这些内容是通过“汉译英”再传递给 Stable Diffusion 的,但这一点仍无从考证。
中文理解:
在中文理解方面,总体表现尚可。它能回答一些问题,但智能程度并非特别高。与 GPT- 3 相比,大致处于同一水平,但仍有部分文章缺乏标注,看来百度此次产品发布有些急促。
二、如何看待文心一言?
- 从技术角度来看,文心一言与 GPT 均采用了有监督学习、基于人类反馈的强化学习(RLHF)以及提示(prompt)技术,并且都基于 Transformer 预训练模型,采用自适应学习率调整策略。这种模型能够通过大量数据训练,提升模型的泛化能力。
- 从数据方面分析,文心一言的训练数据涵盖了万亿级的网页数据、数十亿的搜索数据及图像数据,每日语音调用数据达百亿级,还有 5500 亿的知识图谱等。百度表示,文心一言使用了 1000 亿条中英双语数据进行训练。
- 从产品层面看,文心一言的整体水平大致相当于 chat-GPT3,与 chat-GPT 相比,确实存在一定差距,尤其是在数学推理、语义理解和角色扮演等方面。目前,文心一言主要应用于智能客服、智能写作和智能推荐等领域。
- 从用户体验来看,响应速度相当不错,对一些文本的理解能力也表现得相当出色,语言理解能力及回答的精准性均令人满意。
综上所述,尽管仍有不少不足之处,但从其回答中可以看出百度在技术积累和创新能力上的实力,因此我在此没有将其与 chatGPT 进行直接对比。与国外产品相比,我们还有相当大的提升空间,但我依然对国内 AI 产品充满信心。由于某些原因,OpenAI 并未在中国开放使用,在研究语言模型的过程中,只有少数大厂具备研发“类 GPT”的能力,只有他们的产品推出后,我们才能更方便地使用这些技术。
在文心一言的发布会上,李彦宏也承认,在测试过程中仍存在许多不完善之处,但由于市场需求迫切,大家希望尽快使用到最新的大语言模型,因此选择在此时推出。我认为这样的时机能够证明中国在语言模型研发方面的能力与实力,尽管发展速度相对较慢。这两个月国外 AI 产品的推出都令人惊艳,而在这个时机推出的产品,确实需要勇气,我们应给予国内产品更多的支持和鼓励!
三、彩蛋
许多人都在排队等待文心一言的邀请码,或许有个方法能帮助你更快获得。通过企业端申请 API 接口,百度会回复你企业版暂时未开放,并随后给你发送一个个人版的邀请码(我也是通过这种方式获得的,但现在不确定百度是否已更改规则)。以下是文心一言企业版申请链接:
https://cloud.baidu.com/survey_summit/wenxin.html?track=C816552
本文由 @榕意 原创发布于人人都是产品经理。未经许可,禁止转载。
题图来自 Unsplash,基于 CC0 协议。
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。