新型神经网络系统：由忆阻器制成，效率更高！
导读
美国密歇根大学开发出由忆阻器制成的神经网络系统，也称为储备池计算系统。它教会机器像人类一样思考，并显著提升效率。
背景
神经网络，是一种应用类似于大脑神经突触联接的结构，模仿动物神经网络行为特征，进行分布式信息处理的数学模型。神经网络中的算法可以通过训练，模仿人脑识别语音和图片的方式。但是，运行这种人工智能系统，往往会耗费很多的时间和能量，这也成为了这一技术的主要瓶颈。
之前，笔者介绍过法国科学家利用忆阻器开发出一种神经网络芯片，对于神经网络系统来说，不仅降低了能耗，而且还提升了速度。
神经网络受到了人类大脑启发，由神经元、节点、突触以及节点之间的连接组成。人类大脑中，神经突触可以作为神经元之间的连接，进行信息传递。这种连接是牢固的，当更多的神经突触受到刺激时，学习能力会得到提升。
然而，忆阻器的工作方式与神经突触有点类似。它由一层薄的铁电层组成，封闭于两个电极之间。在施加电压脉冲之后，其电阻会发生变化，就像生物神经元一样。当电阻值低时，这种突触连接会加强，当电阻值高时，这种突触连接会减弱。而忆阻器的学习能力，正是基于这种可调整的电阻。
也许，许多朋友不禁要问：什么是忆阻器呢？
简单介绍一下：忆阻器，英文名 “Memristor” 是英文 Memory（记忆）和 Resistor（电阻）两个词的混成词。顾名思义，忆阻器与记忆以及电阻都有关系，最早提出忆阻器概念的人，是任教于美国柏克莱大学的华裔科学家蔡少棠，时间是 1971 年。蔡教授推断在电阻、电容和电感器之外，应该还有一种组件，代表着电荷与磁通量之间的关系。
忆阻器的电阻会随着通过的电流量而改变，而且就算电路断电，电流停止了，它的电阻值仍然会被保留，直到有反向电流通过才会返回原状。忆阻器是一种有记忆功能的非线性电阻。通过控制电流的变化可改变其阻值，如果把高阻值定义为“1”，低阻值定义为“0”，这种电阻就可以实现存储数据的功能。
（图片来源：维基百科）
在普通的计算机系统中，负责逻辑运算的处理器独立于存储模块。然而，忆阻器不同于普通的计算机系统，它不仅可以用于存储数据，还可以实现逻辑计算。所以，它有效地解决了CPU和内存之间速度不匹配的问题，也就是所谓的“冯·诺依曼瓶颈”和“内存墙”的问题，进一步突破了计算机带宽和功耗所带来的限制。
创新
最近，密歇根大学电气工程和计算机科学系教授 Wei Lu 领导的研究团队，设计出一种由忆阻器制成的神经网络系统，也称为：“储备池计算”（reservoir computing）系统，它可以教会机器像人类一样思考，并显著提升效率。它可以在对话之前预测词汇，甚至可以基于现在预测未来的输出。最近，他们的研究成果在《自然通信》杂志上发表。
（图片来源：Wei Lu）
技术
“储备池计算”系统，是在典型神经网络的基础上进行改进，而且减少了所需的训练时间。之前，这种系统是通过大型光学组件实现。然而，密歇根大学使用忆阻器制造出这种系统，它需要的时间更少，并可以更容易地集成到现有的硅基电子器件中。
为了完成某项任务，需要进行神经网络训练。这一过程中，神经网络吸收了大量问题和这些问题的答案。在“监督学习”的过程中，节点之间连接的加权变得更重或者更轻，从而使得正确答案中的错误量达到最小。
神经网络一旦经过训练，就可以在不知道答案的情况下接受测试。例如，系统可以处理一个新照片和正确地分辨人脸，因为它已经从训练集中的其他照片，学习到人脸特征。Lu 表示，许多次，研究人员都是花费几天或者几月的时间训练网络，这显然非常昂贵。
图片识别也是一个相对简单的任务，因为它无需静态图片以外的任何信息。更复杂的任务，例如语音识别，高度依赖于上下文语境，需要神经网络去识别刚刚发生的事情或者刚刚讲过的话。
Lu 表示，当将语音转化为文字或者翻译语言时，一个单词的意思甚至是读音，都会根据之前的音节发生不同。这就需要递归神经网络，它在神经网络内部包含了循环，让神经网络具有存储效果。然而，训练这些递归神经网络也是特别昂贵的。
但是，通过忆阻器制造出“储备池计算”系统，可以避免大多数的昂贵训练过程，也为网络提供了记忆能力。这是因为系统最关键的组件：储备池，无需训练。
当一组数据输入到储备池中，储备池识别出数据中与时间相关的重要功能，将它以一种简单格式传递到第二网络中。然后，这种第二网络只需要像更简单的神经网络一样经过训练，改变第一网络传递过来的特征和输出的权重，直到达到可以接受的错误级别。
（图片来源：参考资料【2】）
Lu 表示，储备池计算的美丽之处在于：当科研人员设计它的时候，并不是非要训练它不可。
团队通过采用手写识别（神经网络中常用的基准）验证储备池计算概念。数字被分解为像素行，以类似摩尔斯电码的电压形式，反馈到计算机中，电压为0代表黑色像素，略高于1伏的电压代表白色像素。这项技术仅使用了88个忆阻器节分辨数字的手写版本，而传统的神经网络需要几千个节点完成这项任务，储备池达到了91%的精准度。
（图片来源：参考资料【2】）
价值
对于处理随着时间而变化的数据，例如数字和词汇流，或者依赖于过去结果的功能，储备池计算系统也显得特别熟练。
为了演示这个结果，研究团队测试了取决于多个之前结果的复杂功能，这在工程领域非常普遍。储备池计算系统能以最小的错误，为复杂功能建模。
Lu 计划通过这项研究探索两个未来方案：语音识别和预测分析。Lu 表示，他们可以预测自然口语语言，所以你无需说全单词，他们就可以预测出你将要说的下一句话。
在预测分析中，Lu 希望使用这个系统吸收带有噪音的信号，例如来自偏远无线电台的信号，制造出更加干净的数据流。他说，即使输入停止，这项技术也可以预测和产生输出信号。
关键字
参考资料
【1】https://news.engin.umich.edu/2017/12/new-quick-learning-neural-network-powered-by-memristors/
【2】Chao Du, Fuxi Cai, Mohammed A. Zidan, Wen Ma, Seung Hwan Lee, Wei D. Lu. Reservoir computing using dynamic memristors for temporal information processing. Nature Communications, 2017; 8 (1) DOI: 10.1038/s41467-017-02337-y
了解更多前沿技术文章，请点击“阅读原文”。咨询和交流，请联系微信：JohnZh1984。