查看原文
其他

10秒分析2万字论文,这款大模型能帮我写毕业论文吗 | AI实测

阿虎 头号AI玩家 2023-08-02


作者 | 阿虎
编辑 | 张洁 松露
校对 | 松露

7月26日,网易有道正式发布“子曰”大模型,并上线了基于“子曰”大模型的六大应用成果——“LLM翻译”、“AIBox”、“语法精讲”、“文档问答”、“虚拟人口语教练”、“AI作文指导”。


作为首个教育领域的垂类大模型,“子曰”的表现究竟如何?能满足我们对教育垂类大模型的期待吗?


“头号AI玩家”在围观了网易有道“子曰”大模型发布会后,对“子曰”大模型搭载的六个应用功能进行了一番评测,希望给各位玩家一些参考。


翻译生产力工具——“LLM翻译”


网易有道无疑在国内翻译领域领先多年。


据官方数据,有道翻译的月活用户数超1亿,是国内排名第一的词典和翻译类的产品。随着用户对于翻译质量的要求越来越高,从“能看懂就行”逐渐变成“精准表达”,搭载LLM(大语言模型)的有道翻译,翻译的质量如何?能够满足用户的需求吗?


我们摘取了外国新闻网站上关于新电影《奥本海默》的报道片段,分别对“LLM翻译”以及人工智能机器人Claude ai进行对比测试。



可以看到,由于中英文在表达习惯、文化背景以及语法的截然不同,Claude ai对中文语句的表述仍然存在一些短板。

比如对于“核武器”的动词搭配使用,Claude ai采用了“开发”,而“LLM翻译”则使用了中文习惯搭配的“研发”。


但在后续对于《奥本海默》的翻译理解,两者都没有将其准确翻译为“奥本海默的上映……正值新技术大量涌现”。


Claude ai在表述上不符合中文的表达习惯,而“LLM翻译”忽略了“上映”这个词,可能是由于缺少具体的篇章背景,导致翻译不够准确。



我们同样将这段英文上传给了谷歌翻译,它给出的答案显然更绕口了:


尝试过英译中之后,我们决定再测试一下两者对于古诗词的翻译理解。


“请将‘飞流直下三千尺,疑是银河落九天’翻译成英文。”



结果有点出乎意料,将中文翻译成英文时,Claude ai能够以对仗形式同步翻译成英文。


反观“LLM翻译”以诗人为第一视角,翻译成英文时补充了缺失的主语对象,但将“瀑布”翻译成“swift current”(水流速度较快的溪流),没有“waterfall”来得准确。

 

总的来说,有道LLM翻译在英译中的领域,可以根据语境提供更地道的翻译,有些表述优于Claude ai。和传统的机器翻译相比,理解准确度、表达通顺度以及语义流畅性,都有明显提升。而在中译英环节,LLM翻译对单个词汇的选择,不如Claude ai表现得那么精准。

 

网易有道CEO周枫在发布会上表示,这款“LLM翻译基于有道多年积累的神经网络翻译数据,使用了大量的新技术,包括此前未曾采用的单语言语料,在理解上下文、常识推理方面的能力,能给大家更好的翻译体验”。



语句润色助手——AI box


除了接入大语言模型,有道翻译同样推出了语句润色助手——AI box。

值得一提的是,网易有道翻译客户端已经全面上线了AI box功能。我们拿出了曾经的英文作文,邀请AI box进行一下润色改写,看看效果如何。


篇文章主要是写一封邀请函邀请大学教授来中国进行考察,我们选择了“句子润色-专业化”的功能。

可以看到,AI box能够直接将文档里的英文语句以想要的方式进行改写,并提出改写意见。

根据所写文章的风格不同,用户也可以选择“更华丽、更友好、更简洁”等等,AI box同时会进行相应的语法纠错:


下方显眼的“让词汇更符合SCI论文写作”妥妥的科研党福音



参考文献不再是难事——文档问答


在学术研究中,阅读文献是最常见也最耗时的环节。


众所周知,ChatGPT没有办法读长论文,而更新后的Claude 2在文本分析、长文档处理方面尽管有所加强,但花费时间较久。


网易有道首席科学家段亦涛表示:“有道的文档问答功能能够让用户工作效率提高十倍。


我们尝试上传了一篇近2万字的新闻学领域论文,大概10秒后,“子曰”大模型便将它全文翻译了一遍,并且针对不同的页面进行了总结性发言。



在文档问答页面,原文和译文会分别展示,我们可以针对论文细节,进行标注和截图提问,有道速读都可以快速给出回答。


如果你不想读完整篇论文,可以直接让大模型总结论文的最终结论:



同样也可以让它解释一下论文中的新概念,帮助我们更好理解论文的相关内容:



和Claude ai相比,“文档问答”更方便的功能是直接截图询问。

比如,我截取了论文中的图表,让大模型解释一下是什么意思。它在给出答案的同时,也标注了信息来源,方便用户进行事实核查。


“文档问答”能够帮助用户快速判断一篇文章值不值得精读,但只能够针对单篇文档进行解读分析,还不具备联网查阅同类资料的功能。

如果要了解同行相关研究,大模型目前还无法解答。


24小时在线外教——口语教练


除了上述的几项应用功能外,“子曰”大模型还将重点放在了英语学习中需求较大的领域——口语陪练。


目前,在网易有道的内测网页可以体验AI口语教练功能。


我们可以和口语教练谈论任何感兴趣的话题,每个话题页面下都有相关的学习目标和挑战,以鼓励用户在对话中积极表达。



首先我们选择了“最喜欢的电视节目”开启今天的话题,谈到最新上映的好莱坞电影,以及演员罢工的事件,“口语教练”给出了如下回答。


如果我的发音不标准,口语教练还能够识别出来吗?

比如我在念《奥本海默》时,“语音转文字”环节将我的语句识别为了“open”,但口语教练却依旧能够“听懂”我,并且评价这是一部不错的电影,看来Chinglish也并不能难倒他。


练习口语时,“口语教练”能够在相应的语言环境中扮演不同的角色,一步步引导用户主动“开口说英语”。


和同类产品相比,“口语教练”有什么优势?此前,科技公司Animato发布了一款真人对话人工智能“Call Annie”。这位叫Annie的30岁女性,能够承担一对一的外教工作,帮助用户训练口语和听力,Annie一度也成为了互联网AI名师。


我们尝试发现,Annie的语速和VOA(美国之声)差不多,并且是个“话唠”。


如果开启了一个话题,你就很难打断她,只能静静听她分享完,一时分不清究竟是谁在训练英语。



此外,她对中文的识别并不熟练,视频过程中如果发音不准,或是出现了中英文夹杂的情况,Annie就无法成功识别。比如她就没听懂我分享的电影名称。


从互动性、话题讨论度以及用词精准度来说,“口语教练”适配了不同英语水平的用户,做到了启发式学习陪伴,并且从发音、语法、用词等维度给予用户润色建议,是个更适合中国宝宝的英语陪练。这些是“Call Annie”这个App目前还不具备的功能。


有道研发团队表示:“通用的对话机器人是无法满足口语练习的要求的。Call Annie的产品定位并非是外语学习,更像是一个虚拟助手。我们优化了口语教练模型的启发性,我们期望这个模型能够更好地引导用户说英语。


基于口语教练的功能,此前在2023世界人工智能大会上,网易有道便带来了升级版的口语教练——虚拟人口语陪练Echo,结合了有道自研的“子曰”大模型,还有网易伏羲大模型提供的虚拟人生成技术。



对于虚拟口语教练,有道研发团队在发布会坦言,“口语陪练毕竟是一个百亿的市场,期待这位口语教练,能慢慢取代真人陪练。


未来,用户可以体验到类似真人的1V1口语私教体验,虚拟教练不仅有丰富的表情、地道的口音,还能对练习者的发音给出私人建议。


AI作文指导


针对语言学习,网易有道还推出了“AI作文指导”功能,解决学生在日常写作中面临的素材匮乏、主旨不明确等问题。



进入到中文写作界面,可以看到该功能包括了两个方面“教我写作文”和“帮我改作文”。在“教我写作文”板块,只需要录入作文的题目就能获得智能解析,帮助学生对作文主题有较清晰的认识,以便更好地下笔。


我们从高考作文中选择了一道作文题,让“中文写作”功能试着写一写。



相比ChatGPT等其他语言模型会直接生成一篇文章,“中文写作”则是指导学生如何下笔,引导他们自行探索答案。它会从核心观点、素材参考以及段落分配等方面指导学生作文框架。


“想要创作一篇好的文章,最难的是什么?网易有道智能硬件产品经理高慧湍在发布会上指出,“找到创作的思路才是写作中最难的部分。


他强调,“AI作文指导功能提供的更多是写作中的创作方法和思路,而不是简单的素材和范文。


“帮我改”的功能可以深入理解作文的内容,从表达、结构、情感、素材丰富度四个维度进行作文改写。



我们将Claude ai生成的文章上传到了“AI作文”,AI写的文章在AI手下得到的评级是“优秀”。可能是文章真的无可挑剔,“AI作文”批改的重点便放在了好词好句以及文章写作结构上。

最终,这段包含错别字修改、改进建议、好词好句、作文总评等内容的作文批改,会被综合成一份完整的报告。用户就能根据这份报告,有针对性地提高薄弱环节。




以上几项应用,都是在不同的教学场景下,人和AI技术完成的一次教与学的互动。


在发布会上,网易有道CEO周枫也一直在强调“场景”的重要性,他指出一个好的技术有没有价值、能不能发挥巨大的作用,很多时候关键在场景和应用的选择,以及细节的打磨。


科技巨头纷纷将精力投入大模型研发,各类企业参与着大模型在教育场景的落地。


今年5月,科大讯飞发布了全球首款搭载大模型的AI学习机,提供作文批改、模拟口语老师对话等功能。


5月8日,学而思宣布计划研发数学大模型,主要面向全球的数学爱好者,以数学解题和讲题算法为核心。


步步高同样更新上线了步步高学习机,推出AI生成个性化知识图谱、AI智能推荐相似题等功能。


在ChatGPT爆红之后,周枫接受采访时就表示,有道是国内自然语言处理能力领先的公司。其实继五月网易有道发布一段基于“子曰”大模型研发的AI口语老师剧透视频后,7月这款类ChatGPT模型“子曰”才正式上线,显得有些“姗姗来迟”。


“比起其他AI工具的聊天对话能力,网易有道大模型更注重的是教育应用的落地”,周枫在发布会上强调,“子曰大模型不仅可以帮助学生更好地学习,也可以帮助教师更好地教学,一对一的教学更多地变成现实”。



教育、文本润色改写、口语陪练,网易有道“子曰”大模型将这些AI热点几乎覆盖了一遍,而在相关测评页面我们也能发现,棋类教育、编程教育等教育垂类的功能也在开发中。


“子曰”大模型在未来能否成为教育行业的“全能老师”,待时间验证。



更多AIGC有关内容,请持续关注“头号AI玩家”,期待更多AI从业者与我们交流,选题爆料/联络采访/投简历/投稿可添加主编微信zhangjie74510,进AI玩家群可添加小药丸微信banggebangmei,添加微信请备注姓名-行业/公司。



「头号AI玩家交流群」进群方式:添加微信“banggebangmei”并备注姓名+职业/公司+进群,欢迎玩家们来群里交流,一起探索见证AI的进化。
也欢迎围观小红书@头号AI玩家,我们在这里日常练习AI绘画,目标每日一更。
欢迎分享、点赞、在看
 一起研究AI

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存