IEEE特稿：神经形态芯片注定为深度学习而生，否则就是自取灭亡
新智元编译
来源：spectrum.ieee.org/
作者：Lee Gomes
编译：刘小芹 弗格森
【新智元导读】研究者声称神经形态芯片相比传统的CPU，耗能更小。但现在的问题是，研究者需要证明，神经形态芯片能够从研究实验室转移到商业应用中吗。用航空业打比方的话，神经形态计算的研究一直陷在模仿鸟的扑翼的水平，而研究者显然不承认。
科技圈内的人在谈到某一技术从早期采纳者跃升到大众市场时，常会使用的一个描述是“跨越鸿沟”（crossing the chasm）。在神经形态计算中，现在，一个关于跨越鸿沟的案例研究正在进行中。
这一方法模仿的是人类大脑中神经元的连接和沟通方式，并且，乐观者称，神经形态芯片比起传统的CPU，所消耗的电量会更小。但是，现在的问题是，研究者需要证明，神经形态芯片能够从研究实验室转移到商业应用中。
该领域的领先研究者3月在加利福尼亚州阿尔马登的IBM研究机构举行的Neuro In-spired Computational Elements Workshop上坦率地讲述了这一挑战。
“当下，关于神经形态计算有很多的炒作”，曼彻斯特大学的研究员Steve Furber 说。他是SpiNNaker 项目的领导者，这是一个重大的神经形态芯片计划。
他说：“神经形态系统确实是存在的，你可以拿到，并且可以使用。但是，作为一个整体，它们的用户基础是相当小的，不管是在大学还是在行业研究院中。这一切都需要有相当专业的知识。当下并没有一个具有代表性的应用，可以展示一个高容量的应用，其中神经形态计算能在性能上优于替代品。
其他与会者也给出了自己的分析。另外一名杰出的研究者、加拿大滑铁卢大学的Chris Eliasmith 说，该领域需要“直面”这些炒作的议题。
https://v.qq.com/txp/iframe/player.html?vid=z1318flxfi4&width=500&height=375&auto=0
在地板上放置不同颜色的方格，机器人能够避开其他颜色，移动到特定颜色的方格
最近的一个神经形态demo是运行一个相对简单的人工智能应用的系统。具有神经形态芯片的初级机器人沿着科罗拉多山脉自己导航下山，或者地板上放置着不同颜色的放格，机器人能够避开其他颜色，移动到特定颜色的方格。Eliasmith 说，真正的测试目的是让传统公司接受神经形态作为日常工程难题的一个主要平台，但在此之前，还有“成吨的难题”。
来源：James Provost
神经网络中的两个层包含了具有相似功能的“神经元”组，在左图中分别用[蓝色，黄色，橙色，粉红色]表示。右图中，这些神经元映射到IBM TrueNorth芯片的脉冲神经元（spiking neurons）。脉冲神经元通过网状的“突触”与同个核（core）的其他神经元连接起来，并连接到一行输入。这些输入可以产生脉冲，然后有神经网络处理这些脉冲。
神经形态计算的基本组成部分是脉冲神经元，其作用类似于传统计算中的“逻辑门”。在台式计算机的中央处理单元中，晶体管被设计成不同类型的逻辑门（AND，OR，XOR）等等，每个逻辑门评估两个二进制的输入。然后，根据这些值和门的类型，每个门输入1或0到下一个逻辑门。所有这些都与芯片母钟（master clock）进行精确的同步，反映其正在运行的软件的布尔逻辑（Boolean logic）。
脉冲神经元与逻辑门是不同的东西。想象一下电路上的一个节点，它测量沿电路传输的任何脉冲（以电脉冲的形式）。如果在一定时间内发生了一定数量的脉冲，那么该节点被编程去发送自己的一个或多个新的脉冲，具体的数量取决于芯片的设计。与传统CPU的二进制0或1的选项不同，对脉冲的响应可以是一定范围的值。这些芯片能够很大程度上节省资源，因为它们的神经元不是像传统那样不断运作，而是只在接收到脉冲信号时才激活。
神经形态系统将这些脉冲神经元连接到复杂的网络中，通常是依据程序员提前制定好的为特定任务设计的布局。例如，在设计用于图像识别的网络中，神经元之间的某些连接承担某些权重，脉冲在这些神经元之间也以它们各自的权重进行传输，不同的权重可以说是表示不同的对象。如果输出中出现了某个脉冲模式，程序员就会知道图像是一只猫；出现另一种脉冲模式，可能表示图像是一把椅子。
在神经形态领域，各个研究团队都提出了自己的设计。例如，IBM得到DARPA资助做的TrueNorth神经形态芯片在定制硬件方面很有名，Furber 的SpiNNaker（Spiking Neural Network Architecture）则依赖在ARM处理器运行的软件。
早期研究中，对于神经形态系统能做什么实际上没有共识，除了知道它某种程度上对大脑的研究有用。实际上，spiking芯片可以说是某种在寻找能解决的问题的方法。很意外地，从计算机世界之外的地方出现了新的推动力。
从上世纪90年代开始，人工智能研究者提出了许多理论进展，其中就包括“神经网络”的设计，在解决计算问题上用了几十年，尽管成功有限。加州大学Irvine神经形态机器智能实验室的 Emre Neftci 说，在与更快的硅芯片结合之后，这些新的，改进的神经网络让计算机在一些经典计算问题（例如图像识别问题）上取得了显著进步。
这种新的计算工具使用了所谓的深度学习方法，过去几年里，深度学习已经基本上占领了计算机行业。神经形态方面的研究者很快发现，他们可以采用深度学习网络，在他们的新形式的硬件上运行。他们可以利用这项技术在功率上的优势：TrueNorth芯片只有邮票大小，却拥有100万的“神经元”，被设计为只拥有标准处理器的一小部分功能。
节省功耗这一点，或者说是神经形态增强（neuromorphics boosters），将把深度学习带到它以前到达不了的地方，比如说智能手机，带入世界上最热的这个技术市场。今天，深度学习已经可以实现许多在手机上广泛使用的功能，例如询问Siri时所需的语音识别技术。但实际的处理是发生在云服务的巨大服务器上的，因为手机设备缺乏足够的计算能力。支持者认为，使用神经形态芯片，一切都可以在本地计算。
这意味着神经形态计算在很大程度上可以与深度学习搭档。这个领域的许多研究者现在已经将成功定义为能够为深度学习提供高效的芯片，首先是应用到大型的服务器群组，然后以后可以用到手机以及其他小型，对功耗要求高的设备。前者被认为是相对容易实现的工程上的挑战，乐观主义者认为，用于服务器群组的商业化产品可能只要2年就能出现。
对神经形态芯片领域来说不幸的是，半导体行业的其他所有玩家，包括英特尔和英伟达等大公司，也都对深度学习这个市场虎视眈眈。而这个市场可能是在位者，而非创新者具有战略优势的地方。这是因为深度学习，或者说最先进的一些软件，通常都是运行在非常简单的硬件上。
长期观察深度学习的Moor Insights & Strategy的分析师卡尔·弗洛伊德（Karl Freund）表示，运行深度学习系统（称为矩阵乘法）的关键计算可以很容易地用16位甚至8位CPU组件来处理，而不需要台式机处理器的32位和64位电路。实际上，大多数深度学习系统使用传统的硅芯片，尤其是为视频游戏赋能的图形协处理器。图形协处理器可以拥有数千个核（core），所有核都一起工作，核越多，深度学习网络的效率就越高。
因此，芯片公司正在推出由非常简单的，传统的组件制作的深度学习芯片，经过优化，尽可能地减少能耗（例如谷歌的TPU）。换句话说，神经形态芯片作为深入学习的选择平台的主要竞争力是“普通”硅芯片的下一代。
传统芯片公司否认神经形态芯片在功耗效率方面具有优势。斯坦福电气工程教授，同时是英伟达首席科学家的威廉·达利（William J. Dally）称，TrueNorth的demo使用了一个非常早期的深度学习版本，其精度远远低于最近的系统。考虑精度的话，他说，神经形态的任何能耗优势都得抵消。
Dally说：“做传统神经网络的人会取得成果，并赢得这场比赛。”“神经形态学的方法在科学上很有意思，但它们在准确性方面根本啥也不是。”
确实，研究人员还没有找到简单的方法能使神经形态系统运行在传统芯片上开发的各种深度学习网络。Lawrence Livermore国家实验室应用科学计算中心的Brian Van Es-sen表示，他的团队已经能够让神经网络在TrueNorth上运行，但是如何选择合适网络，以及如何移植过来仍然是“挑战”。其他研究人员说，先进的深度学习系统需要更多的神经元，需要有更多可能的联结，当前的神经形态技术还不足以提供。
神经形态研究社区需要有人才来解决这些问题。3月份该领域的一个主要会议只吸引了几百人参加，相比起来，与深度学习相关的会议往往能吸引数千人。去年秋天， IBM表示，2014年推出的TrueNorth已经在40多所大学和研究中心为超过130个用户提供实验和应用的运行。
相比之下，全世界几乎没有互联网公司或大学的计算机系不是在传统芯片上做深度学习的。因此，这些传统架构拥有强大的开发工具套件，以及大量的工程师——这是显著的优势。让深度学习社区转向一种新的，而且不熟悉的方法是非常困难的，除非神经形态能够提供明确的性能和功耗方面的优势。
这是神经形态研究领域公开承认的问题。3月份会议上的演讲经常提到当前面临的挑战，他们中多数也提出了如何克服这些挑战的建议。
例如，滑铁卢大学的Eliasmith说，神经形态必须在许多方面取得进展。其中一个是打造更强大，具有更多神经元和联结的芯片，来处理更先进的深度学习系统。他说，这需要对神经形态系统的固有优势和弱点进行理论上的洞察，更好地知道如何最有效地使用它们。可以肯定的是，他仍然相信技术能够达到预期。Eliasmith说：“我们一直看到改进，所以我很受鼓舞。”
然而，神经形态研究社区可能会发现其目前与深度学习的共生关系对自身有危害。 对于最近深度学习取得的所有成果，许多专家仍然质疑它们能算多大的进展。
深度学习在模式识别之类的应用中清晰地展示了其优异效果，或用于语言翻译。至于这项技术将使研究人员在多大程度上走向“通用智能”的圣杯，或让计算机具有多大的计算能力，仍有待观察。深度学习方面的先驱Yann LeCun将AI研究比喻为在雾中开车。他说，就算武装上深度学习，AI也是可能在某天撞上另一堵墙。
那次会议提出的一些建议是，即使该项技术无法为深度学习打出一个本垒打，神经形态的研究人员也应该坚持。达州大学伯克利分校Redwood理论神经科学中心主任 Bruno Olshausen 认为，神经形态技术本身就有可能带来比任何深度学习更加复杂的有关AI的结果。“当我们研究大脑中神经元如何计算时，我们可以学到一些具体的东西，”他说，“让我们尝试制造可以做同样事情的芯片，然后再看可以如何利用它们。”
SpiNNaker Project 正在打造一台拥有50000个这种专用芯片的机器，试图创建一个10亿“神经元”的网络。
SpiNNaker项目正在构建一台拥有5万个专用芯片的机器，希望创建10亿个“神经元”网络。
SpiNNaker 项目的 Furber 同样这样认为，在被要求预测一下什么时候神经形态芯片能够用到手机之类的低功耗设备时，他提出了5年的估计。但他也说对这一预测只有80%的信心。但是，他补充说，他更确定的是神经形态在大脑的研究方面将发挥更重要的作用，正如早期支持者所认为的那样。
然而，神经形态研究有一个元问题：研究人员不清楚他们模拟大脑的这些脉冲行为是思维工作方式的核心，还是只是其许多意外副产品之一。事实上，与神经形态研究者开始争论的一个点就是我们对大脑的工作原理不了解，怎么可能试图用芯片去复制它？通常你会得到的回应是，虽然我们不是一切都理解清楚了，但我们所了解的一点点就足够开始去做这样的研究了。
经常被引用的说法是，航空业的发展是在飞机的发明人停止了试图去模拟鸟的扑翼之后开始的，是发现，然后利用基本的力，例如推力和升力。神经形态计算一直卡在模拟扑翼的水平，而研究者显然拒绝承认这一点。取决于哪方正确，这个领域将会或者飞天翱翔，或者陷入黑暗。
原文：http://spectrum.ieee.org/semiconductors/design/neuromorphic-chips-are-destined-for-deep-learningor-obscurity