昂贵的ChatGPT背后，国产GPU“掘金”路漫漫

国产GPU厂商如何突破？产业链协作是关键。

来源：21tech（News-21）

作者：江月

编辑：陶力  卢陶然

图源：视觉中国

当人们惊叹于ChatGPT的聪明时，不要忽略它的昂贵。这款应用的走红，正把科技投资推向更高的山峰，资金和智力还要更集中地涌向GPU等硬件赛道。由于大模型持续迭代升级、应用加速延伸以及云服务器急需扩容，AI芯片的掘金人正在聚集。

2月9日，21世纪经济报道记者在采访中了解到，ChatGPT的爆火令AI芯片开发者意识到，性能竞争还将向进一步白热化发展，“昂贵”的烙印越打越深，大语言模型的单次迭代硬件成本在突破3000万人民币水平后，还在向更高攀爬。在市场格局方面，狂热的市场可能会令海外垄断进一步加剧。

亦有国产GPU创业人士向记者表示，国产通用型GPU开发仍在继续，并希望借助此次产业链协同实现突破。

AI芯片加速研发

2022年11月30日上线的ChatGPT，于短短两个月内获得1亿用户，是芯片领域在2023年面临的第一个重要课题。记者从多家国产运算芯片开发商处了解到，芯片研发者正高度关注ChatGPT的市场吸引力，不少公司将其作为研究课题组织专门研究，以求及时把握相关商机。

“ChatGPT应该是基于GPT-3下一代模型，也就是市面上传闻的GPT-3.5推出的。”在一家知名国产GPU开发商担任产品经理的陆明向21世纪经济报道记者介绍，他近期致力于对ChatGPT的课题研究。

芯片研发商关注ChatGPT，既因为这可能会改变产品定义，也因为预期市场对AI芯片的采购会迎来增量。据介绍，ChatGPT的背后模型是GPT(Generative Pre-Training，生成式预训练模型)，GPT这个名字展现了这款模型偏向“生成文本和代码”的属性。陆明指出，GPT至今已经公开了三次迭代，期间，由于GPU芯片的飞速发展，三次迭代之间具有“时间短、性能增速快”的特点。

细数之下，第一代GPT-1诞生于2018年6月，训练参数量为1.2亿个，数据库规模为5GB；仅时隔半年之后，第二代GPT-2诞生于2019年2月，训练参数量为15亿个，数据库规模为40GB；第三代GPT-3诞生于2020年5月，训练参数量飞跃至1750亿个，数据库规模达到45TB。可以看到，第三代模型较第二代的训练参数增长超过100倍，数据库规模则增长超过1000倍。

近年来，从AI方向切入GPU开发，成为了不少中外创业者的选择。无论是在美国还是中国市场，创业型GPU开发商往往能成为资本的宠儿。不过，由于科技巨头自从去年第四季度开始财务表现下滑，硬件行业投资也随之降温。不过2023年伊始，ChatGPT又给行业带来了新的话题。

眼下，ChatGPT的爆火正呼唤更强性能GPU的面世，而这将促使资金加快流入行业。“下一代大模型的参数量和数据库规模，还将比上一代实现百倍、千倍的升级，这意味着如果底层的芯片性能止步不前，就会令训练时长长达几年，但显然业内需要在半年或一年内就推出下一代更强的模型。”陆明称。

巨头林立成本高昂

眼下，无论是大语言模型开发还是底层芯片供应，市场主流玩家仍然是国际巨头。为了在格局演变中争夺优势地位，巨头公司的“烧钱”游戏越来越旺。

21世纪经济报道记者从接近美国GPU龙头开发商英伟达的人士了解到，该公司正是当前全球主流大语言模型开发者的主要芯片供应商。

“英伟达正向全球主流的人工智能算法开发商提供芯片硬件，包括微软、谷歌、Meta等。产品迭代也在有序进行中，去年推出了最新的数据中心芯片，改善了架构。”上述人士称。

近期，科技巨头争相涌入ChatGPT的竞争中，硝烟四起，但在上述人士眼中，眼下人工智能研究市场上的各大巨头此前维持着“强合作”关系。以在外界眼中正在“打架”的谷歌和微软为例，两者事实上都基于谷歌的Transformer架构进行大模型开发。“不过在差异性的应用展开后，竞争可能会升级。”该人士评价称。

想要留在ChatGPT战场上，意味着更大规模的“烧钱”。据业内估算，大语言模型的单次训练硬件成本已经突破3000万元人民币，加上投入的人力、智力、训练时间成本，各大巨头需要准备百亿美元，直到真正的市场赢家胜出。

据Lambda Labs首席科学官Chuan Li介绍，拥有1750亿个参数的GPT-3因其巨大的每秒浮点计算量，单次训练成本达到460万美元。陆明也向记者证实，眼下最主流的英伟达A100芯片，单次训练的使用量应达到数百片，成本在3000万元人民币左右。此外，服务器扩容和硬件升级的成本也将占据相当大的比例，一方面，“自从2月7日开始，ChatGPT因访问量巨大，回复速度已经大大减慢”，另一方面，“维护GPU芯片的成本也非常高，芯片使用是有寿命的，损耗几次就要另作他用。”陆明称。

以上还仅仅是大语言模型训练的非人工成本，更大的成本集中在人力上。“迭代模型的间隔已经缩短到半年，招募人才、改善算法的投资会持续高昂。”陆明称。

今年1月23日，微软宣布将向ChatGPT开发商OpenAI追加数百亿美元的投资，令人们觉得这些资金将涌向语言类机器人。不过，OpenAI不仅是ChatGPT的开发商，旗下也拥有图形人工智能"明星"产品DALL·E。业内相信，微软将分数年、数批向ChatGPT进行后续投资，但这个领域的“弹药”储备提升到百亿美元已是不争事实。

中国玩家如何参与

短短几日，多家中国公司宣布加入ChatGPT战场。

中国的自主研发芯片将面临怎样的机会？市场分析认为，国产运算类芯片仍然面临严峻的发展阻挠，但商业化前景得到进一步验证，仍是芯片开发者的“好消息”。

其中，百度和阿里计划推出生成式语言机器人应用，而京东计划将在电子商务客服中应用相关技术。据悉，有道AI技术团队已投入到ChatGPT同源技术（AIGC）在教育场景的落地研发中，目前该团队已在AI口语老师、中文作文批改等细分学习场景中尝试应用。

该公司内部人士表示，这次技术更新是一次颠覆性的创新，但在细分场景的应用过程中实际上并不需要这样一个大而全的模型，更需要一些纵深向的探索。

不少市场分析认为，中国互联网公司拥有海量数据，这是进行自然语言开发的优势。不过，关心中国科技自主创新的人士有更强烈的心声：期待这个“科技爆点”在中国形成更长的产业链闭环。

海银资本创始合伙人王煜全在2月7日发声称，中国不仅需要产生自主“大模型”，也应当在人工智能上进行芯片技术的“弯道超车”。

数位从事国产GPU开发的人士向21世纪经济报道记者表示，在ChatGPT爆火的开端，国外芯片开发商仍然具有巨大的优势，而中国芯片开发商面临着巨大的阻力，这是由历史技术积淀、市场关系和外部环境共同造成的。

不过，王煜全认为，在系统芯片异构计算时代，能够号召拥有数据的机构参与预训练，然后与拥有芯片计算架构的公司深度合作，这样芯片的制造水平未必是最好，但芯片训练的模型是最好的。他在采访中建议，芯片企业、人工智能企业和应用企业三方应加强合作。

这意味着，身处人工智能落地的巨大市场、拥有本土算法公司的产业链网络，国产芯片厂商仍拥有AI芯片的入场券。

（应受访者要求，陆明为化名）

往期推荐