从蔡少棠到王智刚：打造基于忆阻器的类脑深度学习计算机
新智元推荐
报道：张易
【新智元导读】 英国 Kent 大学计算机学院院长王智刚教授在刚刚举行的脑科学和类脑计算沙龙，给大家做了题为《建造一台类脑深度学习计算机》的报告。王智刚教授多年来致力于基于忆阻器的模拟人类大脑的深度学习机器研究，希望打造一个由神经元和忆阻器突触构成的神经网络计算机。
上世纪 50 年代，冯诺依曼提出了冯诺依曼架构，成为计算机的基础核心架构沿用至今。半个世纪过去了，其实计算机最核心的计算部件 CPU 并没有本质变化，与当年冯诺依曼的设想相比，只不过做的更小了，集成度更高了，计算能力更强了。但是最近几年，计算技术有了突破性的进展。
进展主要在两方面，一是类脑芯片的出现，一是量子计算的研发。我们今天聚焦前者。
类脑计算芯片的核心想法完全突破了以前冯诺依曼基于加法器的计算框架，改从神经元的角度制造一个芯片。这个芯片中，没有我们在通用 CPU 中看到的东西，而是一个个神经元，神经元之间则通过神经元的突触连接起来。这样的架构天生就是一个神经网络，可以完成基于神经网络的一些算法，比如 CNN 或者 DNN 算法，有天生的优势。
目前，一个芯片上有上百万个神经元与神经元之间的连接，synapses（神经突触）可以达到两亿五千多万个。这样一个非常复杂的芯片功耗非常低，只有 70 毫瓦。1个智能手机的功耗在 5 瓦左右，它的能耗是手机的 1%，是笔记本电脑的千分之一。所以可以设想一下，一个拥有上百万个神经元，几亿个神经触突的芯片，可以做得如此的小，如此的低功耗，去运行模式识别或者深度学习这样的任务，然后放在各种各样的传感器上，这就是现在大家都在谈论的边缘计算。
事实上，在 20 世纪 80 年代，超大型体积电路 （VLSI）主要研制者之一 Carver Mead 已经开始利用大规模集成电路来实现此类神经网络计算功能，这项工作获得了美国太空总署（NASA）与国家卫生研究院（NIH）的重视。
然而在相当长的一段时间里，基于传统互补金属氧化物半导体（CMOS）技术的类脑计算芯片的实现一直进展缓慢。
2008 年惠普公司的研究人员首次做出纳米尺寸的忆阻器件。这使得类脑计算芯片的研究有了突飞猛进的发展，它可有效实现可调节突触强度的生物神经突触和神经元之间的互联，从而为类脑计算芯片的快速发展奠定重要基础。
英国 Kent 大学计算机学院院长、IEEE 计算机协会英国分会主席王智刚教授多年来致力于基于忆阻器的模拟人类大脑的深度学习机器研究，希望打造一个由神经元和忆阻器突触构成的神经网络计算机。在 2017 年 5月 12 日举办的北京市脑科学和类脑计算沙龙上，王教授就他的研究和大家做了题为《建造一台类脑深度学习计算机》的分享。
1981 年诺贝尔医学奖获得者 David Hubel 和 Torsten Wiesel 发现大脑可视皮层是分级的。所以说，人脑就是一台深度学习计算机。
王智刚教授多年来致力于基于忆阻器的能够模拟人类大脑的深度学习机器研究，希望打造一个由神经元和忆阻器突触构成的神经网络计算机。
根据他的设想，忆阻器相当于大脑内的突触，处理器相当于神经元细胞。一台这样的机器小到可以放在桌子上。而使用当下的半导体技术，其占据的面积可能相当于一个足球场。
蔡少棠院士。顺便一提，他是“虎妈”蔡美儿的父亲。
忆阻器之父蔡少棠院士（Leon Chua，美国加州大学伯克利分校）于 1971 年第一次提出忆阻器的概念。他在研究电荷、电流、电压和磁通量四者之间的关系时，推断在电阻、电容和电感器之外，应该还存在一个代表电荷和磁通量之间关系的组件。借助该组件，电阻会随着通过电流量而改变；当电流停止时，该电阻仍旧会停留在当前值。
2008 年来自惠普实验室的 Stan Williams 及其团队在《Nature》上发表了论文《The Memristor：Missing Circuit Element Found》，以实验的方式认定忆阻器是存在的。从原理上讲，忆阻器具备尺寸小、能耗低的优点，并能够高效地储存和处理信息，一个忆阻器的工作量相当于一枚 CPU 芯片中十几个晶体管共同产生的效用。自此，在忆阻器被提出 37 年之后，重新引起了忆感器方向上的研究热潮。
事实上，惠普实验室所制作的忆阻器与蔡少棠教授所预测的忆阻器还是存在一些差异的。例如，蔡教授预测的忆阻器是一种连接磁通量 Φ 和电荷 q 的元器件，而惠普制造的忆阻器既没有磁通量也没有电荷，它相当于一个化学过程。但在蔡少棠看来，惠普所制造的忆阻器在外部行为上表现为电压和电流二者之间关系，虽然没有 Φ 和 q 数学量，但是可以实现忆阻器应有的功能，还是应该视为忆阻器。
研究人员表示，忆阻器器件最有趣的特征是它可以记忆流经它的电荷数量。按照蔡少棠教授的初始想法——忆阻器的电阻取决于多少电荷经过了这个器件，即让电荷按某一方向流过，电阻会增加；如果让电荷以反方向流动，电阻就会减小。简单地讲，这种器件在任一时刻的电阻都为时间的函数——有多少电荷向前或向后经过了它。如果这一简单想法能被证实，将对计算及计算机科学产生深远而重大的影响。
利用忆阻器制作一个简单的神经网络计算机电路，根据 Hebbian 定律：当神经元A的轴突离神经元 B 很近并参与了对 B 的重复持续兴奋时，这两个神经元或其中一个便会发生某些生长过程或代谢变化，使得 A 成为了能让 B 兴奋的细胞之一，它的效能增强了。
通过忆阻器状态转换就可以记录下巴普洛夫条件反射——当狗听到摇铃，就会流口水。
在另一个实验中，阿米巴虫在不同温度的水中游的速度不同，每隔 1 小时给水降温几分钟，阿米巴虫就停止游动，等水温回升它会继续游动。连续几小时的相同降温后，不再降温，但是阿米巴虫在原先降温的那几分钟里，依然不游动，几个小时后，阿米巴虫发现“被骗了”，于是不会在那个时间段停止游动。如果在下一个小时给水降温几分钟，则阿米巴虫仍然会在接下来的几个小时的相同时间段停止游动。
针对阿米巴虫实验，利用忆阻器制作等效电路，该电路的核心元件是忆感器，输入量为温度，速度用电容上的电压来代替。该实验可以模拟阿米巴虫的行为，从这个实验可以间接地认为阿米巴内部有一个忆阻器。
用忆阻器制作下一代存储器——这种存储器非常简单，仅仅需要水平坐标 x 和垂直坐标 y，中间用导线连着忆阻器。只要给出一个 x 值和一个 y 值就可以定位到一个地址，在 对应的 x 轴加一半的电压，在对应的 y 轴加一半的电压，只有两个同时满足，目标元件才可以正常工作，只得到一半电压的元件是不能正常工作的。
忆阻器存储器相对于晶体管存储器的优势在于其密度大，集成度高，结构简单，而且忆阻器不会挥发。我们预测，有望利用忆阻器制造下一代计算机器——神经网络计算机 。
深度学习极大地改变了人工智能面貌，目前普遍认为，人工智能的春天来了，可作为突触的忆阻器也可用于深度学习神经网络。
王智刚教授简介：英国 Kent 大学计算机学院院长、教授、IEEE计算机协会英国分会主席。2004年被任命为剑桥Cranfield高性能计算中心网格中心主任主任（由剑桥大学等出资四千万英镑建立）。2006年当选英国皇家计算机学会Fellow，并且是英国政府重点基金项目EPSRC e-Science评审专家和爱尔兰科学基金（SFI）高端计算组专家。2007年ACM/IEEE超级计算存储挑战决赛奖（美国计算机学会/IEEE学会）第一获奖人。研究兴趣包括：类脑计算、忆阻器及其理论、神经网络、非图灵体系结构、大数据、云计算、绿色计算等。在世界范围内多次应邀做主题演讲，包括美国普林斯顿大学、卡耐基梅隆大学、欧洲核子研究中心、香港科技大学、希腊亚里斯多德大学以及南非约翰内斯堡大学等。
关于北京市脑科学和类脑计算沙龙：沙龙由北京市脑科学和类脑计算沙龙由北京市脑科学与智能技术研究院、清华大学类脑计算研究中心主办，北京市科技信息中心等单位承办。主持人由清华大学类脑计算研究中心主任、千人计划特聘教授施路平担任。
点击【阅读原文】查看新智元招聘信息。