查看原文
其他

2023年ChatGPT半导体行业研究报告(附下载)


导语

2023年1月,ChatGPT用户超过1亿,成为迄今增长最快的消费应用程序。 

今日免费下载:


来源:西部证券


关注下方“浑水报告”公众号,后台回复“领取”,可获3次报告下载机会!

2017年谷歌推出一种用于自然语言理解的新型神经网络架构——Transformers模型,不但能生成质量上乘的语言模型,同时具有更高的可 并行性,大大降低了所需的训练时间。这些小样本学习模型,可以更容易地针对特定领域做定制修改。 


2018年以来,国内外超大规模预训练模型参数指标不断创出新高,“大模型”已成为行业巨头发力的一个方向。谷歌、百度、微软等国内外科技巨头纷纷投入大量人 力、财力,相继推出各自的巨量模型。国外厂商自2021年开始进入“军备竞赛”阶段。 


2018年,谷歌提出3亿参数BERT模型,大规模预训练模型开始逐渐走进人们的视野,成为人工智能领域的一大焦点。


2019年,OpenAI推出15亿参数的GPT-2,能够生成连贯的文本段落,做到初步的阅读理解、机器翻译等。紧接着,英伟达推出83亿参数的Megatron-LM,谷歌推 出110亿参数的T5,微软推出170亿参数的图灵Turing-NLG。 


2020年,OpenAI以1750亿参数的GPT-3,直接将参数规模提高到千亿级别。


2021年1月,谷歌推出的Switch Transformer模型以高达1.6 万亿的参数量打破了GPT-3作为最大AI模型的统治地位,成为史上首个万亿级语言模型。2020年10月, 微软和英伟达联手发布了5300亿参数的Megatron-Turing自然语言生成模型(MT-NLG)。2021年12月,谷歌还提出了1.2万亿参数的通用稀疏语言模型GLaM,在7 项小样本学习领域的性能超过GPT-3。



ChatGPT背后的公司为OpenAI,成立于2015年,由特斯拉CEO埃隆·马斯克、PayPal联合创始人彼得·蒂尔、Linkedin创始人里德·霍夫曼、创业孵化器Y Combinator总裁阿尔特曼(Sam Altman)等人出资10亿美元创立。


OpenAI的诞生旨在开发通用人工智能(AGI)并造福人类。 


ChatGPT中的GPT(Generative Pre-trained Transformer),是OpenAI推出的深度学习模型。ChatGPT就是基于GPT-3.5版本的聊天机器人。 


截至2022年12月4日,OpenAI估计ChatGPT用户已经超过100万;2023年1月,ChatGPT用户超过1亿,成为迄今增长最快的消费应用程序。 


2023年2月,OpenAI开始接受美国客户注册一项名为ChatGPT Plus的高级服务,每月收费20美元;此外,OpenAI正计划推出一个每月42美元的ChatGPT专业计划,当需求较低时可以免费使用。


OpenAI预计人工智能科学研究要想取得突破,所需要消耗的计算资源每3~4个月就要翻一倍,资金也需要通过指数级增长获得匹配。


在算力方面,GPT-3.5在微软Azure AI超算基础设施(由V100GPU组成的高带宽集群)上进行训练,总算力消耗约 3640PF-days(即每 秒一千万亿次计算,运行3640天)。


在大数据方面,GPT-2用于训练的数据取自于Reddit上高赞的文章,数据集共有约800万篇文章,累计体积约40G;GPT-3模型的神经网 络是在超过45TB的文本上进行训练的,数据相当于整个维基百科英文版的160倍。


按照量子位给出的数据,将一个大型语言模型(LLM)训练到GPT-3级的成本高达460万美元。


最新的GPT3.5在训练中使用了微软专门建设的AI计算系统,由1万个英伟达V100 GPU组成的高性能网络集群,总算力消耗约3640PFdays(PD),即假如每秒计算一千万亿(1020)次,需要计算3640天。


采购一片英伟达顶级GPU成本为8万元,GPU服务器成本通常超过40万元。对于ChatGPT而言,支撑其算力基础设施至少需要上万颗英伟达GPUA100,一次模型训练成本超过1200万美元。



2020年全球AI芯片市场规模约为175亿美元,英伟达份额超80%


伴随着人工智能应用场景的多元化,新算法、新模型不断涌现,模型中的参数数量呈指数级增长,对算力的需求越来越大。OpenAI预估算力需求每3.5个月翻一倍,每年近10倍。


根据WSTS数据,2020年全球人工智能芯片市场规模约为175亿美元。随着人工智能技术日趋成熟,数字化基础设施不断完善,人工智能商业化应用将加落地,推动AI芯片市场高速增长,预计2025年全球人工智能芯片市场规模将达到726亿美元。 


未来,随着自动驾驶级别的不断提高,对于AI芯片的需求正不断增长。L2和L3+级汽车都会用AI芯片来取代分立的MCU芯片进行自动驾驶相关的计算工作。WSTS预计AI芯片的数量将从2020年的899万套增长至2025年的2380万套。


据IDC数据,2021年,中国加速卡出货量超过80万片,其中英伟达占据超过80%市场份额,此外其他市场参与者还包括AMD、百度、寒武纪、燧原科技、新华三、华为、Intel和赛灵思等。2020年的采购主要集中在搭载V100、V100S、A100和T4的加速服务器上,此外英伟达的A10、A30、A40和Atlas系列加速卡在部分领域已经开始使用。


据IDC数据,2021年,全球AI服务器市场规模达156亿美元,同比增长39.1%;IDC预测,2025年全球AI服务器市场规模将 达317.9亿美元,年复合增长率为19%。


IDC报告显示,2021年中国加速服务器市场规模达到53.9亿美元(约350.3亿人民币),同比+68.6%;预计到2026年将达 到103.4亿美元。年复合增长率为19%,占全球整体服务器市场近三成。 


根据IDC数据,2021年,GPU服务器以91.9%的份额占国内加速服务器市场的主导地位;NPU、ASIC和FPGA等非GPU 加速服务器占比8.1%。IDC预计2024年中国GPU服务器市场规模将达到64亿美元。


从行业的角度看,互联网依然是最大的采购行业,占整体加速服务器市场近60%的份额;2021年,用于推理工作负载的 加速服务器占比已经达到57.6%,预计到2026年将超过60%。



 国内GPU产品梳理以及和国外产品的对比


加速计算GPU领域,国内壁仞科技发布的BR100产品,在FP32单精度计算性能实现超越NVIDIA A100芯片,但是不支持FP64双精度计算;天数智芯 推出的天垓100的FP32单精度计算性能实现超越A100芯片,但是在INT8整数计算性能方面却低于A100;海光推出的DCU Z100实现了FP64双精度浮 点计算,但是其性能为A100的60%左右。因此,从高精度浮点计算能力来看,国内GPU产品与国外产品的计算性能仍或有一代以上差距。


但是,GPU的表现不仅体现在硬件上,软件层面对于生态的布局尤其重要,目前国内企业多采用OpenCL进行自主生态建设,但这是需要大量的时间 进行。对比AMD从2013年开始建设GPU生态近10年时间后才推出用于通用计算的ROCm开放式软件平台,我们认为国内厂商在软件和生态层面与英 伟达CUDA生态的差距相较于硬件更为明显。 


虽然目前国内产品的计算性能和软件生态与国际厂商还有较大差距,但是,国内厂商依然在奋起直追,努力实现GPU国产化突破。其中包括龙芯中科、 海光信息、壁仞科技、寒武纪、天数智芯等厂商均在研发或推出用于AI计算的GPGPU、ASIC等AI芯片,有望实现高端AI芯片的国产替代。


——END——

【PS:点击详情可查看内容】


点击微信小程序👉:;免费下载各行业研究报告pdf和word、可视数据、学习资料。提供研究报告、市场研究报告、行业报告、行业研究报告、调研报告、市场调查报告...

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存