联发科发力，人工智能大普及时代来了！

Original: 张国斌张国斌 2019-07-13

被业被誉为“IC设计教父”的联发科董事长长蔡明介有个著名的S曲线战略，就是联发科总会选择在一个新技术普及爆发的前夜进入市场，享受技术大爆发带来的红利，这个战略屡试不爽，从DVD芯片到功能机方案到3G、4G手机平台，联发科在享受一次次技术红利的同时不断壮大，近日，联发科公布了人工智能战略，虽然比其他家晚点但是灵活性和效率更高，依据联发科过往的成功经验看，这意味着人工智能大普及时代就要来临了！盆友们，准备好了吗？

一、兼得灵活性和效率的异构架构

2017年是人工智能元年，多家公司推出了瞄准终端应用的人工智能平台，华为，苹果推出的方案中有独立的神经网络处理器单元，对人工智能做辅助处理，而高通的骁龙845则没有独立的神经网络处理单元采用DSP完成人工智能处理，瑞芯微则用优化的DSP做人工智能处理，业界在对待端侧人工智能处理方面也分化为两个阵营，一个认为用平台中的DSP处理人工智能算法已经足够，一个认为要用独立的神经网络单元做人工智能加速，现在，联发科的策略公布，它采用独立的神经网络单元做人工智能加速，看来，独立加速方案是未来主流，我看联发科方案的灵活性更高。

联发科技 CTO 办公室协理林宗瑶在联发科AI策略沟通会上表示联发科的人工智能平台NeuroPilot 采用的是异构架构，最底层的处理器有CPU，GPU和APU，APU--是人工智能处理单元的缩写，“CPU 负责控制功能， GPU 负责运算，APU 对整个 AI 运算做特殊加速，从灵活性来看，CPU 灵活性好什么都能做，但效率最差，而 APU可以对AI优化做到效率最高，实际上，我们考虑一些AI 功能都可以放在 CPU、GPU、APU 上，根据工作特质，系统自动分配到APU、CPU、GPU上。如果操作运算量高，而且需要浮点运算，我们就把它放 GPU上。如果它需要定点运算，且需要长时间运算，需要低功耗就放到 APU上。如果是一个多控制运算，就把它放到CPU上。我们会根据它下下一个指令与下下一个工作的分配，确定放到 CPU、GPU 还是 APU上，这跟CorePilot 的大小核分派类似。”他详细介绍了底层处理单元的功能，“APU是人工智能处理单元，它不是一个固定架构的处理器，可以是DSP 也可以是硬件加速单元，例如针对语音识别可以放置2个DSP ，针对其他应用可以放置几个加速单元，它的架构根据需求而定，因此灵活性很高。”

林宗瑶继续解释说这个NeuroPilot平台最上面是应用端，包括脸部识别、美化、人脸辨识、手势检测等等功能。有些功能是在 APP 商店上可以下载下来的应用，有的是 Pre-built 应用。因为有些应用需要跟软件深度结合，例如手机人脸解锁以及手机人脸支付，这就是 pre- built 应用，因为它需要跟软件整合来避免一些安全性问题。“联发科的NeuroPilot平台既可以支持 APP store 里的应用，也可以支持 pre-built 应用。要支持这样的应用，需要做一些架构上的优化和设计。”他表示。

NeuroPilot 支持目前很多常用的AI framework，例如谷歌的tensorflow、 Facebook 的 caffe1/2、像亚马逊的 MXNet、Sony的NNabla等等，这样可以让合作伙伴开发属于自己的算法和应用。“例如国内的商汤科技、旷世科技等等，他们一方面希望可以定制化，另一方面也希望可以复制到其他平台，所以联发科开发了一个叫Runtime的中间层，把一些比较常用的AI 应用运算概念装在里面。再提供一些定制化的接口给合作伙伴。“他强调。“这样做的好处是，第一、合作伙伴希望可以定制化的AI指令不希望别人知道，第二，他们定制化的AI指令能更有效的运行，所以他们希望直接从上面对接到最底层。”Runtime其实是针对深度优化的合作伙伴，可以同时兼顾到垂直应用和定制化。

“联发科的产品覆盖面很广，从手机到电视到穿戴、物联网很多领域，所以我们的人工智能平台考虑的要覆盖很广的领域，”林宗瑶说，“所以我们不是一个固定的平台架构，你可能看到有针对智能音箱的，APU可能采用DSP ，有针对穿戴的，APU又采用了其他处理架构。”

开发工具包考虑了兼容性

对于人工智能开发者来说，平台架构很重要，但是开发工具包更重要，工具包要有很好的兼容性和完整性，便于开发者进行移植和使用，联发科的NeuroPilot 的工具包就考虑这因素。

“我们的工具包是一个跨操作系统的通用架构，因为这要考虑到联发科产品覆盖很多领域，我们的工具包从系统层级到中间的 Runtime 层再到底层的加速器级都有覆盖（这加速器包括 CPU、GPU、APU）。NeuroPilot是一个跨平台、跨产品线的架构，所以在不同的操作系统上（Android，Linux等等…）AI应用开发者看到的NeuroPilot架构是一样的，当然这个架构会只会在最底层做一些差异化。也就是说，今天我们在Android平台的开发一个AI应用，它可以直接搬到Linux上做运行，可以大幅度减少开发商工作，开发一次就可以在很多平台用。”林宗瑶特别指出。

通过系统级debug 的profiler，AI开发者可以比较把任务派给CPU,GPU和APU的运行情况--电压是多少?频率是多少?各种情况怎么样等。并能看出这个 AI 到底有没有放到错误地方去了？如果一个 AI 应用，本来是派给 CPU 的，结果系统派给 GPU 了，这样就会有问题。

第二层 Runtime 中间层，开发者可以观察到运行细节信息，例如感觉有些运算单元花的时间比较多，到底这个花时间多是下达指令错误还是因为在 CPU 上面运行时间比久（因为存储器不给力）。最后 CPU 效率低是什么原因造成的？合作伙伴就可以很容易的去做一些 debug 的开发工作。

第三层加速器层级，工具包可以发现处理器在完成AI任务时候的性能瓶颈，如下图示例。

通过工具包，开发者可以轻松完成开发。

终端AI是未来应用主流

林宗瑶表示联发科一直关注人工智能技术的发展，基本上从 2012 年深度学习开始到 2016 年、2017 年，人工智能应用还是在云端开发。但是考虑快速响应、隐私保护、连接成本以及功耗四个因素，联发科技认为在端侧AI有很大机会。

他认为从云端发展到终端AI有四大提升：

1)端侧响应快，图像识别，图像变化，车载系统都需要快速响应，发送云端然后返回结果显然不会有好的响应。“像最近很红的亚马逊 echo，它的响应就慢，要解决这个问题，就要把云端计算放到终端来。”他解释说。

2)隐私。很多人不想放到云端去，因为放到云端去基本上就没有个人隐私。而在 Edge 这边隐私性会更好

3)连接。连接包括连接的成本和连接有效性。显然任何材料都传至云端成本很高，而且很多地区宽带有限，而Edge AI 的体验会更好。

4)功率。现在整个云端功耗已经占整个地球电力的 5%，所以如果AI在终端实现则可以降低整体能耗。

基于这四点，他认为Edge AI 将为主流。

他强调Edge AI 其实就是 AI anywhere 或 AI everywhere，需要产品布局够广，才能造成很大的影响力。另外因为有这么多产品线，所以除了传统的 Android 之外，还需要考虑到 Linux 或其他的 RTOS，这样应用广度才会高。

“AI 好比一个人的大脑，一个人既需要大脑，还需要眼睛，需要嘴巴传递信息。你的眼睛就相当于 camera IC 的功能。你的资料需要跟其他 edge 沟通，需要跟云端沟通，那么就需要各种无线技术，而因为资料量很大因此需要编解码技术。” 他解释说，“基于这些考虑形成了联发科的NeuroPilot 平台。”

他指出目前全球 IC 设计公司中，唯一能够同时拥有智能手机、数字电视、AP Router、VAD、物联网设备、车载电子的就是联发科一家，“其他有些公司可能 AI 不错，但缺乏互补性技术。有些是有互补性技术可是 AI 比较差，有些有核心技术和互补性技术，但产品线布局不够广。”他结合联发科的优势来解释平台，“以下图来看，AI 核心搭配互补性技术，就可以构成一个 AI 平台。有 AI 平台之后，在考虑移植哪些产品上，那就要看可以应用到什么样的产品上面去，比如智能手机、数字电视、AP Router、VAD、物联网设备、车载等等。所以联发科技的 AI 策略就是从基本的 AI engine 做起，然后搭配其传统强项 - ISP, 连接和WiFi 等技术, 再应用到联发科的产品线上面。”

提供的是平台不是turnkey方案

“联发科不做人工智能的先行者，我们做AI的普及者。我们要做的就是把AI技术普及到更多领域、更多产品上。”林宗瑶指出，“联发科技在AI 的策略跟过去不一样，过去提供turn key方案，现在我们的 AI 是一个平台的策略，而且这个平台是个开放的平台，我们会开放给所有合作伙伴，包括一些非专业用户都可以来我们平台做开发。”

他特别指出联发科技 AI平台有三个优势：

1)能够同时拥有很多技术，同时又可以应用这么多产品线的，放眼全球就联发科技一家公司。因AI 的平台除了提供最基本 AI 功能之外，还搭配一些技术，一起去支持这些产品线。而在开发上只需一次变化，就可以同时分散到很多产品线，因此可以把AI的应用扩散到很多领域。

2)开放性更高，NeuroPilot 平台同时支持支持高中低阶 API，所以可以兼顾到客户可移植性和客制化的需求。

3)异构运算优势--有自己的 APU，系统还可以根据不同的 CPU、APU、GPU 架构选出最适合进行处理。

“我们的架构支持安卓、Linux 和其他的操作系统通用架构。我们的产品线则从电视到语音助手设备、智能手机到发展平板，甚至是汽车电子，我们都会用一样的架构。合作伙伴一次编程就可以处处部署，可以大幅度减少合作伙伴的开发时程。”他指出，“以上就是我们在 AI 这边的策略、想法跟布局，未来AI应用会非常火爆。”

林宗瑶透露联发科第一款采用这样架构的AI芯片将在2018世界移动通信大会（MWC2018）上亮相，另外，今年还会有针对其他领域的AI芯片推出，敬请期待。

联发科全面发力人工智能，我看人工智能大普及时代真的来了！（end）

欢迎投票或者留言说出你对联发科人工智能平台的建议和需求

近期微信热文推荐

1、盛世危局---本土半导体产业最大的危机是什么？

2、风起云涌的2018，本土MCU将有什么变局？

3、人工智能太赞！华为Mate10上手最深刻四点感受

4、洞察先机！--13位高管看2018年中国半导体市场热点与挑战

5、智能手机的本质该是什么？---华为/苹果等“”发机潮背后的冷思考

6、世强肖庆：大变革时代的元器件电商模式探索

7.手机人工智能到底能干啥？看麒麟970小试牛刀

8.今天，Imagination在中国首发布了一个划时代的人工智能产品