机器学习的未来——微型化（一）
摄影：Kevin Steinhardt
文/Pete Warden
当 Azeem 邀请我到 CogX 做演讲时，他让我突出一个让观众信服的要点。前几年，我的首要任务是让人们相信，深度学习是一场真正的革命，而不仅仅是一时的风尚，目前已经有足够多的例子可以证明这个观点。我比大多数人先预料到这个事实，不是因为我是一位具有深刻洞察力的先知，而是因为我有机会花大量时间对这项技术进行了亲手实践。我对深度学习的价值充满信心，因为我亲眼看到了它在一系列应用中凸显的价值，其广泛应用只是一个时间问题。
今天，我将谈论另一种鲜为人知的，但我确信无疑的趋势——那就是我相信机器学习可以在微小的、低功耗的芯片上运行，这种技术将解决目前方案中的瓶颈问题。这就是我要在 CogX 大会上谈论的话题，同时我也会在本文中详细解释我为何会如此确信不疑。
微控制器（MCU）已经很便宜且应用广泛
Chart from embedded.com
由于市场分散，难以获得准确数字，但我们最好的预期是，今年将销售超过 400 亿台微控制器 (MCU)，考虑到他们所使用产品的持久性，可能将有数千亿台微控制器投入使用。微控制器包含一个可能只有几千字节 RAM 的小型 CPU 芯片，可以嵌入到消费、医疗、汽车和工业设备中使用。它们的设计目的是为了得到低功耗、低成本的产品，预计这一产品今年的平均价格将低于 50 美分。
目前微控制器并没有引起太多的关注，因为它们通常用于替代汽车、洗衣机或遥控器上的老旧机电系统。控制设备的逻辑与以前的模拟电路和继电器相比几乎没有什么变化，只有一些小工具可能稍有不同，诸如可编程遥控按钮或根据降雨强度改变速度的雨刮器等。对制造商来说最大的好处是标准控制器可以用软件进行编程，从而不需要为每项任务定制电子设备，因此微控制器的出现让制造过程变得更加简单、成本更加低廉。
电能是限制因素
任何需要电源的设备在使用时都有诸多不便。它们仅限于在能够布线的地方使用，即使有布线，也可能因实际的种种原因而难以增加新的设备，例如工厂或手术室中。将某些设备放在房间的角落意味着需要插座或用诸如以太网供电之类的替代方案。将电源电压转换为电路板电压的电子设备可能会很昂贵且浪费能源，即使是手机和笔记本电脑等便携设备也需要频繁接入插座充电。
智能产品的终极制胜法宝是可以在任何地方部署，并且不需要充电或更换电池等维护措施。要实现这一目标，面临的最大障碍是大多数电子系统的能耗大小。以下是一些智能手机常见组件电能消耗的粗略数据（更多细节请参阅作者以前的文章），下面提供一些常用元件的大致数据：
显示屏功率大约400毫瓦。
有源蜂窝无线通信组件功率大约800毫瓦。
蓝牙功率大约100毫瓦。
加速度计的能耗是 21 毫瓦。
陀螺仪的能耗是 130 毫瓦。
GPS 的能耗是 176 毫瓦。
注：智能手机电能消耗 链接
http://www.cambridge.org/us/academic/subjects/engineering/wireless-communications/smartphone-energy-consumption-modeling-and-optimization
注：Smartphone Energy Consumption 链接
https://petewarden.com/2015/10/08/smartphone-energy-consumption/
微控制器本身功率可能只有1毫瓦甚至更低，但外设功率很大。一枚纽扣电池大约可以提供 2500 焦耳的电能，因此即便耗电为毫瓦级，电池也只能维持一个月左右。当然，目前大多数产品都使用空占比和睡眠模式来避免持续耗电，即便如此，电量消耗还是很大。
注：纽扣电池提供电能 链接
https://www.embedded.com/electronics-blogs/break-points/4429960/How-much-energy-can-you-really-get-from-a-coin-cell-
CPU 与传感器几乎不耗电，无线通信组件和显示器则耗电很高
从这些数字中可以总结出一点，处理器和传感器可以将功耗降至微瓦级别（例如高通的 Glance 视觉芯片、能量采集 CCD 或耗能仅数百微瓦的麦克风），但显示器尤其是无线通信组件有着更高的功耗，哪怕是低功耗的 wifi 和蓝牙，使用时的耗能也达数十毫瓦。
移动数据似乎需要大量的电能。有这样一条规则，操作所需的能量与你发送比特的距离成正比。CPU 和传感器发送的比特信息距离只有几毫米，能耗较低，无线通信组件发送数据数米远或更远，能耗较高。即使现在总体上技术有所改善，暂时我也没有看到这种关系发生根本性变化。事实上，我预测计算和无线通信的能耗差距会变得更大，因为在我看来减少计算能耗的前景更大。
注：高通的 Glance 视觉芯片
https://www.qualcomm.com/invention/research/projects/computer-vision/always-on
注：能量采集CCD
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4435193/
注：低功耗的 wifi 和蓝牙
https://www.eecs.umich.edu/courses/eecs589/papers/06215496.pdf
传感器数据未被有效利用
几年前，我曾与一些从事微型卫星拍摄影像工作的工程师进行了交谈。他们的主要问题是卫星内存太小，无法存储太多数据，并且每隔几小时才能利用有限的带宽资源把数据下载到地球基站，使用高清视频摄像机拍摄非常受限。我意识到几乎所有传感器都面临同样的问题，甚至家用摄像头也会受到无线带宽的限制。其中一个典型例子是我的朋友，他们家 12 月份的宽带数据量远高于全年其他时间，他在研究后发现，这是由于圣诞期间闪烁的灯光造成了帧的差异较大，令视频流压缩比急剧下降。
还有更多的例子，如可穿戴设备和手机上的加速度计只用于唤醒设备或计步，一些其他的可能应用方向仍需继续挖掘。
这对于机器学习意味着什么？
如果你接受上述观点，那很明显，有一个巨大的市场正等着正确的技术来解锁。我们需要一些东西来适配于廉价的微控制器，它们消耗电量非常少，依靠计算而不是无线通信，并且可以将我们浪费的传感器数据转化为有用的东西。这就是机器学习，特别是深度学习的要弥补的空白。