淘系专家带你初探端智能与MNN（上篇）
作者|舒会(玄裳)
出品|阿里巴巴新零售淘系技术部
关注「淘系技术」微信公众号，回复“MNN”即可获取两次直播完整版 PPT 及视频回放链接；
点击下方「阅读原文」获取 MNN 开源地址，欢迎大家 star 我们哦~
舒会（玄裳）
阿里巴巴淘系技术高级技术专家
先后任职于美国 Amazon、Google
Google ML Kit Founding Members之一
▐ 什么是端智能？为什么要做它？
可以说，隐私性是未来做机器学习所绕不开的一点。而端智能可以做到数据不离端而进行推理甚至模型训练，相比于云端机器学习有天然的隐私性优势。由 Google 推动的 Federated Learning 在这样的背景下应运而生，它能够让大量的端侧设备使用各自的数据协同训练出一个全部模型，并且保证训练数据不离端，隐私得到保护。这个就是端智能充分利用端侧设备的算力的一个例子。在手机淘宝，Federated Learning 也在布局之中。
除了隐私性上面的优势以外，端智能在算力方面也有天然的优势。给大家看一组数据的对比：2018年，世界上最快的计算机“Summit”的算力是143.5 PFLOPS [2] . 而在2018年，华为卖出了1700万台P20 [3]。每台P20中的麒麟970 NPU的算力是1.92 TFLOPS [4]。这些NPU合起来的算力就有32640 PFLOPS，相当于227个“Summit”。端侧设备的算力不容小觑。可以说，它是一个算力的海洋。
除了隐私性、更大的算力资源，许多应用场景是“非端不可”的，因为这些场景有很强的实时性。比如Snapchat中的人脸贴纸功能，需要对视频流的每一帧进行处理，然后渲染。这就要求图像处理的模型（例如人脸关键点的检测模型）运行在端上。
总结来说，更好的隐私性，更大的算力资源池，实时性是端智能独特的优势，也是做端智能的原因。
▐ 端智能的挑战
端智能的挑战主要有：速度、设备碎片化、引擎大小、模型大小、内存占用。
速度：尤其在中国的环境下，手机设备碎片化严重，许多中低端的手机性能还不够。推理引擎的运行速度非常重要。很多时候，某个视觉交互场景的FPS低于30，就是幻灯片体验，不能用。过了30 FPS就能用。这是一个0到1的区别。速度快才能让许多端智能应用场景在各种端上运行。
设备碎片化：端侧设备的碎片化比较严重，有不同OS和版本，各种加速硬件（DSP, NPU, GPU等）。如何适配各种设备，保证模型在不同的设备上都能运行并充分利用硬件加速，是一个挑战。
引擎大小：推理引擎需要集成到app里才能运行模型。App 大小超过一定的阈值，App Store/Play Store不给自动更新。
模型大小：模型太大会影响加载速度，模型更新时花费过多用户的数据流量，而且运行时的内存占用太大。
内存占用：运行时内存占用太大导致GC频繁，影响用户体验，严重的甚至导致系统OOM。
▐ 端智能的几个趋势判断
端智能行业是一个飞速发展的行业，我们在这样的大环境下，不进则退。在这里，把我们平时做的调研总结一下，说4个趋势：
端上推理的重要性高于训练，但是补齐端上训练能力也有价值。
后摩尔时代到来，XPU 百花齐放。
NLP 逐步走向成熟。
从手机端到AIOT端。
► 端上推理与训练
在《2019-2020中国人工智能计算力发展评估报告》中 [5]，调查机构IDC有报告指出，推理相对于训练的比重会逐年上升，预计到2022年会超过训练。如下图所示。
从另外一个角度来说，端上训练的重要性并没有降低。TensorflowLite 把 On-Device Training列入了它的规划之中 [6]；Apple CoreML 3 把On-Device Training作为它主打的功能 [7]；即将开源的华为Mindspore框架也会拥有On-Device Training功能。
Google Jeff Dean在2019年12月中旬的一次采访中提到：One thing that’s been shown to be pretty effective is specialization of chips to do certain kinds of computation that you want to do that are not completely general purpose, like a general-purpose CPU。
摩尔定律在过去的几年逐渐失效，general-purpose CPU性能的增长速度已经平滑。见下图：
与此同时，每年出现的ML模型对算力的要求成指数增长。见下图：
为了满足新模型对算力的要求，出现了许多针对AI特殊加速的“XPU”。比如Google的TPU、Edge TPU，华为的麒麟NPU等。
可以说，未来的端智能大部分算力要靠XPU来提供。如何适配碎片化的XPU，充分利用硬件性能，将是未来几年推理引擎都需要面临的挑战。
CV中的ImageNet Challenge在2015年进入到了一个特别的时刻：机器学习模型的准确率正式超过了人类 (ResNet的Top-5 Error Rate是3.6%，而人类的Top-5 Error Rate是5.1%) 见下图。
而NLP里机器学习模型的能力超过人类的时刻（所谓“ImageNet Moment”）也已经到来。大家看2019年Google ALBERT模型在几个NLP benchmark上面的表现：
在RACE benchmark上， ALBERT虽然不及人类最佳performance，但是已经远超普通人类的performance，也就是Amazon Mechanical Turk的结果。而在SQuAD benchmark上，ALBERT的ensemble模型performance已经超过了人类3%左右。见下图：
既然都已经在某些benchmark上超越了人类，可以预见，未来的几年是NLP的广泛应用的几年。目前，最小的ALBERT模型大约47MB。这个大小已经适合在手机端上运行了。
“端智能”中所谓的“端”，不局限于手机端。未来的几年，将属于AIOT (Artificial Intelligence of Things)。未来的几年，全球手机的出货量不会再像往年那样大幅增长，而是平稳甚至下滑，而以智能音箱为代表的AIOT设备的出货量正在处于一个飞速发展的时期。见下面两图：
在AIOT端还没有既定的标准，NN API的影响力局限于android。AIOT端是未来的主战场，为AIOT端设计AI应用，让AI应用在AIOT端运行更快，是应用开发、算法开发和引擎开发者都需要做的。
从交互方式来看，AIOT端的交互方式跟手机也不同。手机是一个以触觉、视觉（touch screen）为主导的交互方式，而AIOT端的交互方式中NLP的比例要大很多，Amazon Alexa、Google Home、天猫精灵这些智能音箱都是语音驱动的。
简历投递至吕行：chengfei.lcf@alibaba-inc.com
END