查看原文
其他

云天励飞李爱军:揭秘大模型时代,边缘计算芯片进化论丨GACS 2023

李爱军 芯东西
2024-09-06

解读边缘计算芯片运行大模型的挑战与机会。
编辑 |  GACS
9月14日~15日,2023全球AI芯片峰会(GACS 2023)在深圳南山圆满举行。在15日的高能效AI芯片专场上,云天励飞公司的副总裁、芯片业务线总经理李爱军,分享了主题为《大模型时代下国产边缘计算芯片的挑战和突围》的主题演讲。
李爱军在演讲中说,大模型的出现让边缘计算看到了Corner case的破解之道。全球边缘计算市场规模不断扩大,但面临着场景、芯片平台、算力需求碎片化的痛点,算法投入产出不成正比。大模型具有强大的图像或语言理解能力、场景泛化能力,有望解决这些痛点。
为满足大模型部署需求,边缘计算芯片设计需要考虑SoC集成、算力可灵活扩展芯片架构、统一的工具链架构、隐私保护等方面因素。李爱军谈道,云天励飞基于其自研算法开发平台和算法芯片化平台,不仅训练了“云天天书”大模型,还推出了新一代边缘计算芯片平台。
以下为李爱军的演讲实录:
大家好!我是云天励飞的李爱军,今天我给大家带来大模型边缘计算芯片的挑战和突围的主题分享,我的分享里面有三个关键词:一个是边缘计算,第二个是大模型,第三个是国产芯片。
为什么是这三个关键词?我们大家都知道,AI在落地的过程中,特别是芯片,主要涉及到端、边、云三个大的场景。对于芯片来说,云和端这两个场景相对而言比较明确。比如说云,主要是拿来做训练,强调它的通用性;对于端,它强调场景非常聚焦,比方说手机,强调了它极致的能效比;中间的边,就代表边缘计算。
而边缘计算场景对于整个AI来说,实际上是一个全新的场景,过去这十年,大家都在这个场景里面探索。边缘计算这个场景本身给大家带来的想象空间也是非常巨大和无限,因为大家对于边缘计算的共识是场景非常的丰富。
大模型自从去年11月份ChatGPT出来以后,已经经历了大半年的过程,大家也都能看到,整个AI的方向基本上已经非常明确,或者说大模型代表AI的第二阶段。大模型在云端带动了整个GPU,在端侧,包括手机也在迅速跟进,高通的手机芯片,以及类似苹果、华为这些业内的顶尖厂家,都在陆续推出基于端侧的大模型。对边缘计算来说,大模型跟边缘计算有没有结合点、交叉点?这是我们在思考和探索的。
另外一个是国产芯片,在现在这样的大国际形势下,国产芯片,特别是国产工艺芯片,我想这已经是一个绕不开的主题了。我相信在边缘计算这个场景下,在不久的将来,一定会有一家企业基于国产的工艺推出满足边缘计算场景的突破。
我将从下面三个方面进行主题分享。

01.
三个技术平台,实现“算法芯片化”


云天励飞是一家什么样的企业?云天励飞是一个应用驱动的技术型企业,公司是2014年的8月份成立的,云天励飞是一家为数不多的,具有算法、芯片、大数据全栈能力的AI企业。
在过去九年时间里,我们探索出了一条AI落地的一套方法和设计平台,就是算法芯片化这样的设计平台。通过这个平台,我们有效地把AI的算法、边缘场景的落地,以及AI处理器的指令集和芯片架构、工具链,能够有机整合在一起。通过应用产生数据、数据训练算法、算法定义芯片、芯片赋能应用,这样的一个数据飞轮,我们不断地推动AI在边缘场景的落地。
云天励飞的算法芯片化平台,它由下面三个可落地的技术平台组成:
第一个是应用落地驱动的算法平台。在这个平台上,我们实现了算法超过14个领域,以及102个种类的落地。同时,这些算法可以支持端云协同,支持细分场景下的算法快速微调和部署。同时基于这样的平台,我们也正在研发云天励飞的“云天天书”大模型。
二是算法驱动的神经网络处理器平台,通过这个平台上,我们能够实现算法高效推理的指令集设计。同时,基于这样的平台,我们也完成了四代神经网络处理器的迭代。并且得益于这些迭代,我们能够高效地支持卷积神经网络(CNN)以及新一代的Transformer计算范式。并且能够高效地支持目前大家所熟悉的,包括视觉大模型、多模态大模型、NLP大模型在边缘端的高效部署。
三是面向边缘计算场景的芯片平台,通过这样的平台,我们实现了三代可商用的边缘计算芯片的落地,并且算力范围从2TOPS到128TOPS的这样的覆盖。我们通过这个平台,实现了D2D Chiplet这样的先进封装技术,这个可能是基于国产工艺,第一个进入可量产的Chiplet技术。同时,基于这样的平台,我们还实现了C2C Mesh这种高效互联技术,通过这样的互联技术,我们可以实现算力的灵活可扩展。

02.
大模型时代下,
边缘计算芯片面临多重技术挑战


在大模型时代下,边缘计算芯片具有哪些挑战。我们知道,整个边缘计算场景,它的规模是呈不断扩大的趋势。那什么是边缘计算?边缘计算,它卡在端和云的中间。边缘计算又分成Edge Device和Edge Server两个细分场景,包括有边缘的智能终端设备、边缘的智能网关,以及边缘服务器这些场景。
据IDC的预测,到2023年底,全球的边缘计算市场将达到2000亿美金的规模,年增长率也非常高,达到13%以上。预计到2026年,边缘计算市场将突破3000亿美金。可以说,这是一个非常值得大家期待的AI落地的场景。

1、边缘计算场景落地痛点:Corner Case难以有效解决
但是在落地的过程中,特别是云天励飞过去九年,我们在落地过程中,我们所看到的现状是怎样的?
首先边缘计算的场景非常众多、纷繁复杂,有园区、安防、商业、教育等等。这么多的场景,场景的要求又各种各样。
同时,在边缘计算场景落地的芯片平台种类也是五花八门,有X86架构的、ARM架构的,有FPGA的,也有SoC主控芯片,也有算力芯片,甚至传统的NVR芯片也被归在这个类。
算力的需求也是极度碎片化的,从0.5T算力,到几十T甚至到几百T,需求各异。同时对数据精度的要求也不一样,有INT8的要求,INT12的要求,还有FP16的要求。

从算法角度来说,算法投入产出不成正比,难以实现商业闭环。算法从研发训练出来,在场景落地的过程中,会遇到各种各样的精度、识别度的问题,以及目标变化的问题。目标变化并不是目标本身有变化,而是这个目标的姿态有变化,比如说一个猫,正面看像是猫,可是背面看就不认识了。这需要算法不断进行迭代和训练,这就导致整个落地的过程中成本不收敛,也就是我们做一个项目,不挣钱甚至亏钱。
因为整个落地过程中客户对于整个体验是不满意的,客户不满意就不会给方案商继续下订单,方案商没有订单,意味着芯片原厂也没有订单,这就形成了碎片化的恶性循环,这就是当前边缘计算场景落地的困境。
边缘计算场景的痛点究其问题,最大的痛点在哪里?在于场景的Corner Case难以有效解决。我们以长尾算法为例,长尾算法的开发部署要经历,第一个是单场景数据的搜集,还有算法的训练,产品的测试,再到应用部署4个环节。这里面有两个循环,一个是产品研发阶段的小循环,还有一个产品研发完以后去部署应用的时候,还有叫Corner Case的持续的循环。因为这两个循环的存在,导致整个落地成本居高不下。
2、Corner Case破解之道:大模型的运用
大模型的出现,让我们看到了解决场景边缘,特别是解决边缘计算场景的Corner Case的希望。大模型现在有两种,一个是CV(计算机视觉)大模型,一个是NLP(自然语言处理)大模型。
CV大模型具有什么样的特点和优势?首先,CV大模型具有强大的图像理解能力,同时它也具有强大的场景泛化能力,这意味着它可以实现在摄像头视野范围内所有目标的分割、检测和深度估计,为泛场景的精确识别提供技术保障。这里面我们可以看到目前的开源网络,包括Dino-v2、Segment-Anything、Ground-Dino等等这些算法。
而NLP大模型,它有强大的语言理解能力,以及强大的多轮交互能力,这意味着算法能够快速、准确地理解用户指令,从而可以实现场景Corner case的精准操作。
CV大模型与NLP大模型的结合,在边缘计算场景的落地,让我们能够看到Corner Case有被解决的希望。

3、边缘计算芯片运行大模型的双重挑战
大模型在边缘计算场景运用,对于边缘计算芯片有什么样的要求和挑战呢?
对于AI处理器而言,因为大模型带来全新的计算泛式和计算要求,它需要AI处理器能够高效地执行Transformer这样的计算范式,同时要能够高效执行包括Softmax、Layer norm等新算子,它的算力要求要大,大模型的算力,特别CV大模型的算力是传统小模型的几倍甚至十几倍。因为大模型的参数量巨大,它对于内存的带宽要求以及内存容量要求,相比原来的小模型也是翻番,甚至翻几番。
另外大模型同样带来了对边缘计算芯片的全新设计要求。大模型在边缘计算场景落地,需要形成边缘的计算芯片上全业务的闭环。这就意味着对边缘计算芯片,不光对于算力有要求,还需要芯片是一个具有SoC集成度的芯片要求。也就是它不光要有AI算力,还要有相对比较强的通用算力,包括CPU、GPU等等。

因为大模型在落地场景中参数规模有变化,有可能10亿规模,也有可能百亿规模,也有可能是几百亿规模,它希望芯片的架构是一个算力可灵活扩展的架构,在应用的时候可以量体裁衣,根据场景的要求选择不同的算力。不同算力的芯片对于算法来说,希望有一个统一的工具链架构,而不是说这个算力场景我要用这家芯片,那个算力用那家芯片,而工具链又是各家做各家的。如果这种情况下,整个大模型在边缘场景下的落地仍然会举步维艰。
同时大模型因为比传统的小模型带来一些优势,包括泛化的优势、理解的优势等,对于用户的数据,它的处理量级比小模型会大一个数量级甚至两个数量级,也就是有更多海量的用户数据会被在边缘侧处理,同时这些数据的理解也会更加深刻,这就带来用户数据的隐私保护的问题。

03.
加速大模型落地边缘场景,
解构云天励飞的架构创新


在边缘计算芯片这些技术困境下,云天励飞做了哪些事情?
首先是云天励飞正在自研“云天天书”大模型,这个大模型是基于云天的算法开放平台和算法芯片化平台,通过结合互联网上海量的语料数据,训练出通用的基础大模型。在通用基础大模型的基础上,结合云天励飞过去九年来的沉淀积累,训练出行业大模型,这里面就包括智慧城市、智慧安防、智慧交通、智慧商超等等,这些领域的行业大模型。之后再针对落地细分的场景,将数据集进行微调,从而实现真正可落地的,满足场景泛化要求的场景大模型。云天天书大模型也是由CV大模型、NLP大模型和多模态大模型组成。
在芯片侧,云天励飞打造了新一代的边缘计算芯片平台DeepEdge10。它是一个系列化的芯片平台。它是基于国产的工艺,可以说这颗芯片是真正的国产芯片。其次它采用了先进的Chiplet技术,它能实现算力的灵活扩展。DeepEdge10是具有SoC主控集成度的芯片,内置了云天最新的第四代神经网络处理器,可以高效支持大模型边缘侧的执行和落地。另外它实现了D2D Chiplet创新技术,同时实现了D2D/C2C Mash扩展架构,来实现算力的灵活可扩展。
在主控集SoC方面,DeepEdge10具有性能强劲的、主流的CPU核。另外它集成了满足边缘场景应用的2D/3D的GPU能力,同时集成了第四代神经网络处理器400T,所以它具有澎湃的边缘AI的算力。它还有强大的多媒体能力,包括对于8K30视频以及2亿像素的图像处理能力,还有不错的显示能力,支持双屏异显等等。它有完备的高低速外围接口,例如我们熟悉的USB、PCI等,包括以太网口都全部支持,甚至还支持CAN FD,可以满足工业场景的实时连接需要。同时,它具有硬件级安全特性,支持国际主流的加解密算法,同时支持安全boot,以及物理级的安全系统。
DeepEdge10内置了云天励飞第四代神经网络处理器,具有这些特点:首先它的数据格式,它是支持FP16、INT16和INT8这些精度,因为有了这些支持,我们得以做混合精度量化。另外支持多线程执行,同时支持QAT模型、支持动态量化模型、支持最新的Transformer网络结构模型。
对于大模型的新的计算,我们有哪些考虑呢?首先是我们设计了三维并行的矩阵计算架构。结合矩阵计算和矢量计算的联合优化,我们可以高效地提升像Softmax、LayerNorm这些算子的性能。通过稀疏化、参数/数据的压缩和低比特量化技术,我们可以实现大模型对带宽要求的极致优化。通过INT8、INT16、FP16,可以实现混合数据精度的量化,从而保证大模型在边缘侧落地的时候几乎不掉精度。通过D2D以及C2C的高速互联接口,可以实现算力的灵活扩展。
DeepEdge10芯片是国内首个基于国产工艺量产的D2D Chiplet芯片。D2D就是die to die,意味着两个die之间高速互联。我们采用的die to die技术具有非常高的速率,还有带宽的密度、pJ级功耗级别,以及纳米级延时等等,包括传输、路由、统一内存等等。因为有了这些特性,所以我们才能够负责任地说,我们可以支持当前的大模型,包括百亿大模型乃至千亿大模型参数大、计算量大、低延时的要求。
通过以上的创新,云天励飞打造了DeepEdge10这样基于国产工艺的芯片平台,我们形成了一个系列化的芯片。这样的芯片平台我们可以有效地支持当前在边缘计算场景落地的,从迷你PCIe卡、AI盒子、加速卡,到边缘服务器等各类硬件产品的需要,从而实现整个丰富边缘计算场景的落地。
我们通过架构的创新,可以说DeepEdge10实现了国产芯片在边缘计算场景的突围。云天励飞致力于国产工艺以及国产大模型边缘计算芯片的突围,不论遭受怎样的外部压力,我们矢志不渝。谢谢大家!
以上是李爱军演讲内容的完整整理。

继续滑动看下一个
芯东西
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存