查看原文
其他

国产 ChatGPT 赛道又添一员:「天工」大模型发布,我们准备了 20 问火速实测!

CSDN 2023-04-24

整理 | 郑丽媛
出品 | CSDN(ID:CSDNnews)

一个月前,百度「文心一言」的发布可谓赚足了眼球,国产 ChatGPT 之战也由此正式拉开序幕:阿里版类 ChatGPT「通义千问」突然官宣,商汤也发布了「商量」语言大模型加入战局。

就在昨日,国产大语言模型的赛道上又多了一位正式成员:4 月 17 日,昆仑万维正式发布千亿级大语言模型「天工」,同时宣布即日起启动邀请测试。

据官方介绍,「天工」由昆仑万维与国内领先的 AI 团队奇点智源联合研发,是国内首个对标 ChatGPT 的双千亿级大语言模型——千亿预训练基座模型和千亿 RLHF 模型,这使其具备了“更高级的自主学习和智能涌现能力”,可满足文案创作、知识问答、代码编程、逻辑推演、数理推算等多元化需求,最高已可支持 1 万字以上文本对话,实现 20 轮次以上用户交互…… 

说到这里,相信各位读者对「天工」的问答水平深感好奇。既如此,第一时间拿到「天工」内测邀请码的 CSDN,自然也要对其例行实测一番! (注:因同是“国产版 ChatGPT”,所以本次部分提问内容也参考了评测「文心一言」和「通义千问」的题目。) 

推荐阅读:

《文心一言 vs ChatGPT!相同 10 问,结果出乎意料》

《阿里版 ChatGPT 突然官宣!我们用 16 个提问,火速进行了测评……》 

《商汤加入 ChatGPT 战局,发布“商量”语言大模型!》


自我介绍


先从简单的开始,考考「天工」的自我认知能力:介绍一下你自己吧。

前有百度「文心一言」、阿里「通义千问」和商汤「商量」的炸场,实际上「天工」的出场并未占得太多先机,相较之下它的优势何在:你与其他大规模语言模型相比,有什么优点?

如此看来,「天工」对自己的能力还是颇有自信的。接下来,我们就从「天工」自己所说的“文案创作、知识问答、代码编程、逻辑推演、数理推算”这五大维度进行深入测评。


文案创作

 

上周,蓝色光标宣布用 AI 代替文案外包引起了网友热议,恰好「天工」也声称可满足“文案创作”的需求,来看看其发挥得如何:帮我开发的智能扫地机器人写一篇 600 字左右的宣传文案,要吸引人来购买。 

「天工」生成的这篇宣传文案,基本满足了所提要求,包括文末也提到了“赶快购买”。虽然正文部分的结构较为单一,但总体来看,「天工」在“文案创作”方面的表现还算是可圈可点。


知识问答 


据官方介绍,「天工」团队投入大量资源攻克了中文语料库的质量瓶颈,从数十万亿的数据中清洗、筛选出了 3 万亿单词数据用于训练大模型。从「天工」对方言的掌握程度来看,确实不错:四川话“摆龙门阵”是什么意思? 

常识问答「天工」也轻松拿下,还能给出相关解释:在中国首先用麻醉药的中医是谁?

 「天工」对成语的释义也基本准确,不过在补充成语典故时,其正确率还有待提高(“暗度陈仓”的典故主人公并非白起):“暗度陈仓”是什么意思? 

 

代码编程 


在代码编程方面,我们也准备了三道题目考验「天工」的编码能力,并咨询了 CSDN-AI 团队研发总监的看法,他指出「天工」给出的代码基本实现了功能,编码水平还可以。 

提问:请写一个使用逻辑回归模型判断用户更喜欢天工还是 ChatGPT 的训练代码。

提问:请用 C 语言,使用动态分配内存的方式,模拟 C++ 中 Vector 容器,实现动态数组的构建。 

提问:“Using Python to Define a class named Vector to simulate the C++ Vector container and implement dynamic array construction using dynamic memory allocation.”

 

逻辑推演

 

不过,对一些较为“烧脑”的题目,「天工」的反应有些出乎意料,即直接否定了题干并没有给出解答:小明说:“如果昨天是明天的话就好了,那么今天就是周五了。”那么,小明说的今天是周几?

 

数理推算

 

在数理推算方面,鸡兔同笼问题可谓经典,对此「天工」的表现还不错:鸡兔同笼,一共有 4 个头,12 个脚,那么各有几只鸡、几只兔? 

不过,对于那道 ChatGPT 正确解答、却绊住「文心一言」和「通义千问」的初中数学应用题,「天工」也没给出正解,看来在这类较为复杂的题意理解上,目前国产 ChatGPT 均还有待加强。


多轮对话


工」着重强调了自己的多轮对话能力,下面我们就随机来几个问题:

你们觉得这位女生能追到她的男神吗?


闲聊一会儿

 

测评的最后,我们也来看看「天工」的闲聊水平。

提问:你知道 CSDN 吗?

提问:请你推荐一道成本低于 30 元(人民币)的菜及其做法吧? 

对于这个问题,给出了详细做法的「天工」可谓“贴心”。 

提问:请模仿李白的风格原创一首诗?

最后一个是此前 CSDN 测评每个大模型都会问的问题,不过「天工」似乎有些“避而不答”? 

至此,本次 CSDN 对于「天工」的测试就到此结束了。通过这些 Q&A,你对「天工」的评价如何呢?

「天工」官网:https://neice.tiangong.cn/

马斯克回应特斯拉上海工厂克扣员工绩效奖;苹果版余额宝上线,年利率4.15%;Fedora 38 发布|极客头条
☞比OpenAI更快一步,最新开源的MiniGPT-4模型可让开发者提前感受GPT-4识图能力!

ChatGPT加剧恐慌?4成AIoT开发者认为AI会产生意识 | 中国AIoT开发者报告正式发布


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存