AIx5G引发”核“聚变，超异构给嵌入式玩家带来新机遇

英特尔不愧为半导体带头大哥，它在人工智能领域的探索远超其他公司，现在，嵌入式领域的玩家可以跟着英特尔一起掘金人工智能大市场了！

在近日召开的2019第三届全球人工智能大会暨展览会上，英特尔中国研究院院长宋继强博士发表了《融合聚变，AI×5G的超异构时代 》主题演讲，AI×5G（不是+哦）和超异构都是英特尔今年针对人工智能领域提出的新概念，宋继强博士在演讲中分析了人工智能技术的发展和与5G融合的趋势，指出超异构计算是应对未来人工智能技术需求的最佳解决方案，英特尔愿意携手业界一起开拓5G时代人工智能应用的新篇章。

英特尔中国研究院院长宋继强博士

为什么是AI乘5G 而不是AI+5G？

在会后宋博士接受媒体采访时回到我提出的如何理解AI和5G是×而不是+，+的提法时，他指出乘法就是一个概念，就是不是简单的相加或者是线性增加。如果我提“AI+”或者是“5G+”，就意味着在原始的能力上只是加了这个东西而已，可能最多的只能提升了一些效能，或者是原来没有接入的，通过5G接入了。但AI和5G的结合，通过5G的实时、低时延、高带宽特点，实际把原来设备本身可用的资源扩展到更大范畴。例如如果我们可在10毫秒之内调用到网络上计算或存储资源的话，实际上本地可以有更大的计算能力、更强的存储，或者是针对处理某些特定应用，就可以做更多的事情。所以我这个“×”是从效果上来讲，激发大家想象，未来都进入到5G网络可以有更高级的数据信息可以获取。

十字路口的车辆（图片来自国家地理杂志）

他以十字路口的交通指示管理来说明AI乘5G的效应。“大家都熟悉交通路口，交通路口上有一圈摄像头。这些摄像头各自把自己的视频数据上云，在云端把这些视频数据汇集起来就是简单的“+”，这只是把摄像头设备加了一个网络，把数据传到“云端”去做处理。那什么是“×”？假如利用了交通路口的边缘计算能力，把N个摄像头的数据（例如每个方向两个，一圈有八个）通过AI算法、视频融合、三维重新建模的方法，这样可以对整个十字路口做了一个虚拟化建模，且是实时的。所以车一旦开动，实际上各个方向信息都知道了，因此可以有了这样一个系统，可以给各个方向来的车进行提示：什么方向有车会来。即便车的视线被挡着司机也可以知道什么地方有潜在的碰撞风险，这就是“×”了，把这些数据更好地利用起来，利用其边缘的相关性，利用AI，然后反馈到本地设备上，这不是+ 是×。”

人工智能发展进程

计算技术的演进

宋博士指出过去50年计算在不断演进，从60年代摩尔定律开始发挥作用，一直到现在，摩尔定律仍然在发挥作用。人类先是把计算和存储大幅度提高让用户用很便宜的价钱就可以使用到好的计算机，接下来无线通信技术发展让设备之间可以更便宜的互连，人们可以带着很便宜的移动设备实现计算到现在演进到人工智能。

2008年以后，智能手机，智能平板的普及以及传感器的成熟和智能算法的出现，导致可以实现基于场景的，基于位置的，基于人的服务，所以智能能力开始越来越便宜，伴随着计算能力的提升和芯片越来越小，人工智能不断发展。

另一方面，在AI技术发展之前，我们处理的数据都是结构化的数据，不需要人的智能融合，例如大部分处理的是由人工产生的数据，如PPT、文档，设备产生的数据等，人在其中处于操作员，设计者的角色。

不过新一波的智能技术发展，让我们可以更多的处理自然界产生的数据。以前对数据的操作是采集、编辑、压缩、存储、传输。有了人工智能技术以后，我们可以识别、理解这些数据了，这是质的变化，设备能力可以大幅提升。

AI计算发展的三个阶段

从2012年开始，人工智能技术进如爆发期，ImageNet让我们看到有些算法超越人的能力，如物体识别，人脸识别，语音识别等，这表明AI算法开始有潜力替代人的一些工作了。到了2016年通过AlphaGo，通过其他产业界，大公司的加持，AI产业化开始地落地了，开始实用化了，AI可以在一些实际场合以可控的成本、可控的时间代价、可控的功耗做事。

到2020年，AI在不同领域里规模化的工作效率提升出来，”回望过去50年，只有当一些技术结合实际的产业达到经济规律允许它规模化扩展时，技术才能真正的得以放大。AI技术需要结合很多产业去做规模化商用。“他指出，”用比喻来说，2008年是AI第一个阶段，像一个小学生，告诉大家，这个孩子是有能力的。2016年AI第二阶段，中学毕业，它要告诉大家，我能把一些事情做好。2020年以后是AI第三个阶段，就是大学阶段，开始分科，开始专门训练，开始毕业，正儿八经的做事。这又牵扯到另外一个时间线，就是5G，明年正式商用，5G和AI会给我们带来颠覆性的改变。之前是用4G，4G其实并不好支持我们大量的设备都去用AI。“

现在多尺度云端融合智能

从智能音箱到智能驾驶到智慧城市，其实是多尺度云端融合智能化应用，有的智能在端侧处理，有的则需要在云端处理如图像识别语音识别等。宋博士认为现在云和终端的结合还是比较初步和直接的，计算与信息共享，计算和存储资源分散在云和终端两块。而5G来了后，利用它高带宽，低延迟特点，可以认为整个端到云，都有无限的资源可以用。

这样催生出两种模式，一是边缘计算，可以把计算和存储能力往前推，推到接入网，不用放在云端（未来基站机房会有大量计算服务器），二是利用云端监控智能设备运行情况，提供运行支持或做事后分析。

如果有足够的资源和能力，还可以做预先模拟和规划（类似前面的十字路口的例子）、做超实时的预测---就是在真实世界有一套系统运行，在虚拟世界里可能有一套或者多套系统在运行。它就是平行计算，这也是一个崭新计算范式的改变（注：这也叫数字孪生技术在《IoT World 2019十大亮眼技术！》有介绍）。

未来很多设备都会智能化，联网化，会产生非常多的数据，例如一辆自动驾驶车辆会有摄像头、激光雷达、超声波雷达等，它一天可以产生4TB数据，智能工厂一天可以产生一个PB的数据（PB是TB一千倍）。如此海量的数据都传到云上做处理也现实也没有必要，有些数据有实时性本地性的要求，所以在合适的地方处理是最重要的而不是都扔到数据中心云端去。边缘计算是为了能够更好的解决数据处理的实时性和有效性问题。

宋博士认为人工智能现在解决了感知层的认知，未来还要有理解能和决策能力，以无人车和无人机为例，不仅要看到事物还要理解事物不难过要做决策，这才有更大的价值。

决策靠的更多是靠知识，因为小的局部场景信息量是有限的，所以它要代入更多的信息甚至广域的知识。

宋博士认为在未来社会工作场景中，前面的智能设备是在做数据的采集，它获得小数据和片面数据，要依据这个数据做实时分析，做决策处理，而云端通大数据则是做常识积累，做决策支撑。这就涉及到人类知识的理解。

全部的人类知识可以分成两大块，一是稳定知识，一个人从小受教育逐渐地扩展知识面，很多扩展的是稳定知识这一块，还有上大学的学习，属于通用知识，也是稳定知识范围，这些知识不太会变，会变是动态知识，假设机器人在家里服务，要建立家里环境的知识，了解这几个不同用户，这都是个性化知识。另外，群体性知识也属于动态知识，例如今日头条、抖音基于对人群的画像给用户推荐产品。可以把人分成老年人、10后、00后等这是群体性知识，这两类知识，稳定知识需要从顶向下构建，群体知识和个性化知识需要从下到上构建，逐步地需要从0开始构建。把这两块知识利用起来，一定要靠终端构建动态知识，在云端把知识做更好的更新，还要发给终端，还要在边缘去平衡实效性、本地性、安全性等。

从知识层面来理解，就会得到一个概念性结构，也就是在终端这一侧是智能系统，边缘这一层要有实时处理能力和定向服务能力。边缘服务器的最大价值在于它是根据具体区域需求来定制。例如某个区域需要做很好的语音交互服务，这个区域说的是广东化，就要把广东话的话自然语音理解，语音ASR、TTS放进去，这是定制的。同样智能交通，智能交通也是区域化的，在上海放上海相关的东西，不会放北京的东西。这些都非常明确的要边缘服务器。

当然，云端大脑上仍非常重要，但要提高整个系统能力，不能光靠边缘服务器，例如自动驾驶，边缘服务器一个月也搜集不了太多的异常情况，这时需要靠全国甚至全世界的异常情况搜集下来汇总分析，重新训练模型，把整个系统能力，每隔几天就能提高一层，这就是云端的持续决策能力带来的好处，这就是一个可扩展的云端超融合架构，云还是有大云，但是可以放很小朵的边缘服务器，像一些二级脑在各个位置支持各种服务。另外要考虑安全，把这些结合起来就是云、边、端融合的方案。

 AI×5G需要什么样的架构支持？

从前面的分析中可以看到，到2020年，5G商用成熟， 而AI也发展到规模商用阶段，AI与5G是非常重要的历史性交汇，因为这两个技术都是非常重要的变革因素，而它们恰恰在2019和2020年都达到了可用性，在部署的时候，我们可以充分利用这两个变革性技术乘法效应，促进整个产业的升级。

到2020年会有500亿智能设备接入互联网，有很多的数据会产生。这些数据不是人互相通信的数据，不是简单的社交媒体和人产生的数据。在做网络优化的时候，已经没法靠人做一些启发式规则，经验去做优化，很多时候要靠数据训练对网络做优化了。

这就催生了计算的多元化需求，因为很多种数据不再是我们人类产生的结构化数据，它有不同的计算加速的需求，由于部署在终端、边缘或者云上，它需要计算加速的性能、功耗、实时性、成本、芯片尺寸大小都有不同的要求，这完全是多样化的需求，我们如何满足呢？

只有通过异构计算！传统异构计算有两种实现方法，一种是一体化SoC。把多种计算能力的加速内核放到一个芯片里，这个芯片是在同一个工艺节点上制造出来，例如14nm、22nm等，它是单芯片形式，集成了不同的计算模块，如CPU、GPU、通信模块，视频处理的加速器等，

另外一种是直接把不同的芯片通过板级连接起来，如通过PCI-E，把CPU板和专门的AI加速板连在一起，这样也可以做成一个异构计算。现在英特尔的数据中心里用的是这种方式。

这两种方式有什么有什么优势和劣势呢？请看下图

一体化SoC它在数据带宽延迟上非常好，因为集成在一个芯片，体积最小，能效比最大，但有一点，上市时间较长，一般需要18个月，显然不能适应越来越快的嵌入式开发节奏。另外就是整个系统的实时开发难度比较大，因为把不同的加速模块都要放在一个工艺节点重新设计验证，很多的事情重做以前的事情，而且不一定完全对。

第二种异构模式--分体式板卡，可以很快把事做起来，而且体积比较大，功耗比较大，所以传统异构计算并不能满足现在计算的要求。

所以英特尔提出了超异构计算的策略，就是扬长避短，一是跟板级设计一样，有多功能多架构芯片，每个芯片处理不同的运算负载，进行加速，二是利用先进工艺技术把它们封装在一个芯片里，这不是在板级实现的。

在封装层设计先进的技术，把带宽做大，把功耗降低，体积缩小，这是封装集成技术。

三是针对这样复杂的超异构模式，对于软件开发人员而言不能让他们的设计更困难，要更简单一些，所以对于超异构来讲，要统一的异构计算软件也是非常重要的。

对于不同工艺节点的处理器、GPU或者其他互联芯片，可以通过高级的2.5D或者3D封装技术来整合，英特尔是业内唯一可以将逻辑芯片逻辑芯片堆叠在一起的公司，如英特尔最新的低功耗处理器LAKEFIELD，它整合了小CPU、大CPU，等它是混合CPU的架构，有处理不同工作负载能力。

对于AI计算，由于场景很多，因此有多种不同的运算负载，很难用一个计算单元有效地把它支撑起来，这就需要分而置之，合而用之。宋博士表示对于这样的超异构计算，未来还可以整合第三方的单元进来，例如一些其他架构的计算模块，而且英特尔也愿意提供封装的服务！这意味着嵌入式领域的玩家可以享受英特尔的超异构计算的好处，可以跟半导体龙头一起掘金人工智能市场。

他举例说如果一个客户想开发一个同时做路径规划，并能检测人跟随用户并拍照的无人机芯片，主要需要视觉检测和Slam建模，而Slam建模可能需要通用计算，视觉检测需要专门的视觉加速芯片。对于英特尔来讲，实际上就可以整合一个小处理器加上一个VPU封装在一起，可以很快实现。

超异构计算的开发

对于这样的超异构计算模块，很多人一定认为其软件开发会复杂，因为其中包含CPU 也会有其他GPU ,NPU以及一些FPGA等，但实际上，这个超异构开发非常简单！

”目前常见的几个架构，CPU有自己的开发堆栈，GPU也有自己的开发堆栈。AI专用芯片也有自己的开发堆栈，FPGA也有自己的开发堆栈。如果做异构计算，想象一下，让一个程序员对这四种开发堆栈都熟悉是不能的。”宋博士指出，“但我们又想把这些能力给到开发者，让他们能自由使用。办法就是提供一个API，从软件开发人员来看，只要在功能层级调用这些能力就好，不用具体指定用哪种芯片架构加速。”

至于什么样的工作负载用什么样的架构加速，这属于领域知识，专家就可以在优化中间件这一层做事，把一个API映射到不同的加速器上，下面几层是专家的事，上面则是应用开发者的事。这是一个非常合理的去释放超异构威力的方式。

他表示英特尔的one API就是这样一个思路，它的中间件支持各种神经网络框架例如Tensorflow，Caffe，微软CNTK等等，也支持各种深度学习模式，如视觉类的，金融类的等等，开发者可以直接调用这些模型，它就类似一个大的编译器，上面是过程的接口，中间层翻译成“公共”的白色，底下可以映射到后端。后端就是底层的硬件，系统可以自动映射到最优计算支持上，用最专业的计算模块做这嘴专业的事情。

所以，要让AIx5G发挥威力，必须在处理器架构、封装、工艺、软件和生态方面协同发展，英特尔已经做好了储备，宋博士表示英特尔的超异构计算愿景是提供多样化的标量、矢量、矩阵和空间架构组合，以先进制程技术进行设计，由颠覆性内存层级结构提供支持，通过先进封装集成到系统中，使用光速互连进行超大规模部署，提供统一的软件开发接口以及安全功能！

AIx5G，激发融合聚变，也带来新的机遇！

（完）

近期微信热文推荐

如果觉得有价值请欢迎关注我的微信号

本信号由半导体领域资深媒体人张国斌亲自运营，粉丝多为半导体领域高管，本号关注全球半导体最新科技趋势信息和新兴技术应用，解读半导体产业最新动态，伸出你的小手按一下，我们就是分不开的好朋友啦！

商务合作请加我个人微信：eetrend-richard。最近收到不少有关投融资需求信息，欢迎加我微信了解详情。

好消息！IoT World将登陆深圳国际电子展，欢迎点击阅读原文链接登记参会！