ChatGPT 在中国的风口:差距多大?
我在几天前的文章里说过,面对 ChatGPT 这样的风口,每家大公司都不想错过。
有朋友问我,是不是没发声的大公司对这件事不重视?怎么可能?如果把 ChatGPT 看作技术的话,国内巨头公司这几年在 AI 领域出了不少成果。如果把 ChatGPT 看成一款产品的话,会被国内重视产品的巨头公司忽视?人家可能早就研究过开过几轮战略会了。
上一次国内公众对 AI 技术如此感兴趣,是 Google 推出的 AlphaGo 在 2016 年 3 月击败李世石,向业界证明了深度学习的潜力。AlphaGo 的应用场景毕竟只限于围棋,随后不久 Google 宣布 AlphaGo「退役」。当时行业内有不少人哀叹人工智能的中美差距,但其实,差距真没那么大。
大家知道现在哪家围棋 AI 最强吗?应该是腾讯的绝艺。
绝艺的第一个版本也是在 2016 年 3 月完成的,随后每次版本的迭代能力都有巨大的进步。我强调这个时间是什么意思呢?一旦在某个领域的技术路径验证了具备可行性,那么技术上追平以及产品化的速度一般都不会慢多少。
ChatGPT 的出现,对于这个领域的参与者而言,其意义在于验证了 LLM(大语言模型)的可能性。用通俗的话说,是在这个方向可以出活儿了。那么,接下来的时间里,就是大家都会向这个方向冲,大家也都有机会,而且,还会继续有突破。
我比较反对提起 ChatGPT 就非要说成是中美之间的差距,其实这就是行业间公司之间的竞争。在美国是 OpenAI 联手微软和 Google 之间的竞争,至于中国的各大公司,各家则是在同一起跑线上。虽然,起跑线上的公司,有些具备一定的优势。
业界一些悲观的观点说差距至少在两年以上,为什么说是两年?因为 GPT-3 是在两年前公布的。但其实 GPT-3 之后,国内很多公司就已经在这领域投入,也在做自己的大模型。ChatGPT 验证成功之后,对这些公司也是好事情,因为大模型的投入,要舍得烧钱,需要定力,也需要耐得住寂寞。
从大模型的一些关键事件看,相差也不到两年。
2020 年 6 月,OpenAI 发布的 GPT-3 把参数规模提高到千亿级别。2022 年1 月,InstructGPT 发布,13 亿参数。
2021 年 1 月,Google 宣布推出 Switch Transformer 模型,训练的参数量高达 1.6 万亿,也是首个万亿级语言模型。
2021 年 12 月,Google 的 1.2 万亿参数的通用稀疏语言模型 GLaM,在小样本学习领域的性能超过了 GPT-3。
对比一下国内的进度:
2019 年 3 月,百度提出知识增强的语义理解框架 ERNIE。2021 年 12 月,推出 ERNIE 3.0 Titan 模型,参数规模 2600 亿。
2021 年 3 月,阿里达摩院发布参数规模达到 1000 亿的中文多模态预训练模型 M6。在 6 月宣布其参数规模已达万亿,年底的时候宣布参数规模到了 10 万亿(当然,个人对此表示存疑)。
2021 年 4月,华为云宣布发布盘古 NLP 预训练语言模型,参数规模达 1000 亿;联合北京大学发布的预训练模型,参数规模达 2000 亿。
2022年,腾讯的混元 AI 大模型参数达到万亿级,先后在 MSR-VTT,MSVD等五大权威数据集榜单登顶,实现跨模态领域的大满贯。
对比如上信息,可以看出国内公司其实在大模型方向追得很紧。如果只看模型参数规模的话,现在已经具备万亿参数的能力,甚至还更高,实际差距不到 1 年的时间,而且我相信这个差距会越来越小,技术方向上并不存在什么高不可攀的技术门槛。
当然,参数规模不是唯一指标,正如我反复强调的,产品化的能力最为关键。业内人士并不认为 ChatGPT 的技术上有多大突破,但是产品上做到了突破则是公认的。
很多人担心的语料问题,是没抓到问题的重点。第一阶段,国内公司在中文上能做到 ChatGPT 同级别的水平即可,我们并不期待一下子就做到英语上能和 ChatGPT 同一水平,用户目前也没有这方面需求。ChatGPT 能用到什么样的中文语料,我们也一样可以用。这也不是门槛。
如果用我之前提出的五个要素来做评估的话:
算法、算力、数据、产品、场景
我之前分析过,百度肯定具备一定优势,虽然在产品化的能力上略弱,但也不排除这次实战中能出现产品牛人。
腾讯,算法、数据、产品、场景上,都有一定的优势。比如 AI 和机器学习领域,腾讯是国内公司专利最多的公司。腾讯的产品化能力,可以说在业界最强。
华为,则可能是算力上因为大家都知道的原因,会有瓶颈。至于算法、数据、产品、场景等这些方面,华为也并不弱。
当然,正如不少业内人士所担心的问题,国内做 ChatGPT 类产品,各家公司是不是都能解决语料问题,这确实是未知数。也希望大公司能赞助一些第三方的技术机构,长期优化通用型中文语料。
题图:由 DeepAI 创建