使用神经拟态芯片及神经时序编码算法学习和记忆多种气味
我们一般认为知觉包括视觉、听觉、触觉、嗅觉和味觉五种感觉。本文的工作主要与嗅觉（olfaction）相关。
嗅觉系统处理环境中化学信息，该化学信息组成了气味（odour）。化学分子与鼻子里的嗅觉感觉神经元（olfactory sensory neurons）结合，从而导致神经元放电。不同的嗅觉感觉神经元有不同的感受器（receptors），对不同的气味进行反应。而每个neuron中只表达一种感受器。
嗅觉的感受器直接暴露于外界，而且嗅神经（olfactory nerve）不经过下丘脑（thalamus）直接到达初级嗅皮质（Primary olfactory cortex）。而其他感知觉神经一般经由下丘脑做relay，然后传入大脑皮层。
嗅上皮（olfactory epithelium）中有超过1000种的感受器（由基因决定），与嗅小体（glomeruli）相连（下图A）。
嗅觉感觉神经元与mitral cell（MC）相连接，MC与多个抑制性的Granule Cell（GC）相连接（下图B）
嗅小体轴突离开嗅球（olfactory bulb）后，形成嗅神经（olfactory nerve tract）直接到达初级嗅皮层（下图C）。
嗅觉系统的简图
图1介绍了模型框架和信息编码方式。其中：
Fig1.a为基于哺乳动物MOB (main olfactory bulb）设计的模型架构。从神经系统得到启发，化学传感器的信号会传递到每个MC的AD（apical dendrite）中，这又会激发其相应的S（soma）的spikes。每个MC都与有抑制性功能的5个GC相连接（连接概率20%）。紫色空心圆即为MC激发GC，红色空心圆为GC抑制MC。
Fig1.b为Intel loihi芯片体系结构。
Fig1.c为风洞中的气味传递，共有72个传感器分别独立对应72列EPL模型实例（每列对应1个MC与5个GC即共72个MC与360个GC）。
Fig1.d 为72个MC按时间对丙酮（顶部）或甲苯（底部）产生的神经放电活动。其中最上部的黑色段和白色段分别代表着MC处于周期性抑制（黑色）或激活（白色）。当时间处于黑色段时，MC将全部处于无活动状态。
Fig1. 模型架构和信号编码
Fig2. 神经可塑性规则（plasticity rule）
Fig2.a在训练中，特定几个MC（如三个竖杠所在MC）对某个GC不断地刺激，会增加这些MC与该GC的连接，而削弱其他MC与该GC的连接，最终会形成某些MC与该GC的稳定的连接而忽略其他MC的输入（a中最右侧图）。通过这样神经可塑性规则的设定，GC将表现的具有选择性。
Fig2.b展示了GC对MC的选择性。经过训练后，GC受甲苯（左）、丙酮（右）的MC刺激的响应分别用绿点红点（甲苯）以及黄点灰点（丙酮）表示。例如，左图中的五个红点与某一个GC连接，而六个绿点与另一个GC连接。
Fig2.c中显示随着训练中周期性gamma震荡的进行，抑制性GC的权重(ΔB)不断增加，GC对MC的抑制作用也愈加明显，直到GC的ΔB与MC spike的时间收敛。
Fig2.d为加入噪声的测试，迭代降噪处理的开始会激发一部分GC。根据Fig2.c中的结论，受激发的GC会调整MC spike的时间，致使下个gamma循环中结果会接近学习过的气味（绿色圆圈在迭代中不断增多），从而激发更多的GC。上述两个阶段相互作用，直至得到学习过的气味。
Fig3. 气味激活MC神经活动的模式（patterns）
Fig3.a、b、c分别为未经训练的naive网络(a)、训练过的EPL网络(b)以及禁用可塑性(即抑制Fig2.c、d的过程)后，在训练过的EPL网络(c)中的MC对加入60%噪声时的甲苯气体的反应。空心圆为训练好的EPL网络对未加入噪声时的甲苯的MC反应的pattern，将其作为想要得到的理想结果进行对比。我们发现，图b经过5次gamma循环后能得到理想结果，而图a和图c的效果很差。
当b和c的方式进行对比时，GC对气味的识别和噪声的去除中起到关键作用，然而算法在学习过程中会永久消耗GC即GC不再改变。
Fig3.d为经过5次Gamma循环，训练过的EPL网络的Jaccard similarity不断增加，而未训练过的网络和禁用可塑性后的训练过的EPL网络并未改变。
Fig3.e为进行100次加入60%噪声时甲苯的独立试验Jaccard similarity平均值。
Fig3.f为在学习过程中，大约360个GC（文中模型1个MC对应5个GC所以共72列的EPL网络共有360个GC）将被永久消耗掉。
Fi3.g为在第五次gamma循环时，100次加入60%噪声时甲苯试验的Jaccard similarity平均值与每列EPL网络中GC数量的关系（当GC数量增加时，Jaccard similarity会提高）。因想要得到GC数量对结果的影响，此试验调整了MC与GC数量的对应关系，1个MC分别对应0、2、4、6、8、10个GC。除该试验以外，其他试验均采用1个MC对应5个GC。
Fig4. 多种气味的学习
Fig4显示了对多种气味进行学习的结果。结果发现：72个MC的EPL网络具有强大的学习能力能够应对灾难性遗忘。无论如何调整10种气味的训练顺序，最后都能很好的识别10种气味。
Fig4.a显示在训练10种气味过后，MC对加入60%噪声时甲苯的反应（黑点）。黑点将不断向蓝色空心圆（训练时对甲苯的反应）移动。红色空心圆代表训练时对丙酮的反应，其他8种气体并未标出但可以清楚显示训练过其他气体的网络并未发生灾难性遗忘。
Fig4.b显示随着gamma循环的进行，甲苯的相似度不断增加（超过80%即分类为甲苯，为显示清楚只标出5种气体，其他5种气体未标出）。
Fig4.c显示随着gamma循环与MC spike活动模式的调整（Fig4.a）的进行，GC也不断的调整，忽略其他9种气味。
Fig4.d显示训练过的EPL网络可以识别出加入60%噪声后的10种气体。
Fig4.e为3种训练网络对不同噪声下的10种气味的平均表现（横坐标为噪音百分比，纵坐标为平均准确性）。红色曲线为Naive网络，绿色曲线为训练过的网络，而蓝色曲为模仿神经调控（neuromodulation，对嗅觉等感官系统刺激的表现及可塑性有巨大影响）加入动态搜索轨迹后的训练网络。
Fig4.f显示在90%噪声情况下，降低与甲苯相关GC的spike阈值可以增加与甲苯相关的GC比例，从而提高最后对90%噪声甲苯的分类精准度。
Fig 5. 羽流动力学影响下的气味学习
Fig5.a显示在随机时间点，10个不同位置传感器由羽流动力学所产生的对甲苯采样的影响。
Fig5.b为Fig5.a中的1、4、7、10号更高分辨率的图像。
Fig5.c显示了经由Fig5.b中传感器获取的信息，随着周期性gamma震荡跟训练过的甲苯应有的表现的Jaccard similarity。
Fig5.d显示在随机时间点，10个不同位置传感器由羽流动力学所产生的对加入40%噪声时甲苯采样的影响。
Fig5.e为Fig5.d中的1、4、7、10号更高分辨率的图像。
Fig5.f显示经由Fig5.d中的传感器获取的信息，随着周期性gamma震荡跟训练过的甲苯应有的表现的Jaccard similarity。
Fig5.g显示训练网络在羽流动力学的影响下依然能够学习并识别出10种气味。
Fig5.h显示在羽流动力学的影响下，训练网络依然能够将加入噪声的甲苯在5次gamma循环中识别出来（为显示清楚只标出5种气体，其他5种气体未标出）。
Fig5.i显示在不断增加噪声的情况下，训练网络对气味的识别准确性（横坐标为噪声所占百分比，纵坐标为准确率）。
Fig6. 结果评估
Fig6.a显示EPL网络与Raw、MF、TVF、PCA、DAE分类表现的对比，其中EPL识别表现最佳。每种气味有100个独立的噪声实例共计1000个。
Fig6.b显示在不断增多学习数据时，DAE分类准确性的变化。实验增加DAE学习样本的数量，是为了提高DAE对于加入噪声时气味的识别准确性。在学习大概3000个独立气味样本后，DAE表现与EPL大体一致，这也是EPL比DAE效率要高3000倍的来源。
Fig6.c显示了EPL的鲁棒记忆力，在学习甲苯气味后，EPL与DAE都能准确的识别甲苯。但随后学习新气味丙酮时，DAE只能识别丙酮而不能识别之前学习过的甲苯，出现了灾难性遗忘的问题。EPL在学习新气味丙酮后，还能很好的识别之前学习过的甲苯。
Fig6.d显示随着丙酮的不断训练，甲苯在DAE中所占得比例不断降低（纵坐标为与原始学习甲苯的活动模式相似度）。EPL在训练丙酮前后与原始学习甲苯的活动模式相似度并无改变，表现出了鲁棒记忆力。
Fig6.e显示在依次经过10种气味的训练学习时，EPL网络对甲苯的学习与原始单纯学习甲苯时的具有高相似度。
Fig6.f显示随着EPL网络的扩大，执行时间并没有呈现出明显的增长趋势。
Fig6.g显示随着EPL网络的扩大，耗能也并没有呈现出明显的增长趋势。
本文使用了英特尔的神经拟态芯片（Intel Loihi芯片），基于神经科学和脑科学的inspirations，设计实现了对10种气体的识别。这对现有气体传感器提供了新思路。如今大多气体传感器如烟雾报警器只能够对单一气体进行识别，而新技术红外气体传感器还处于起步阶段，因成本高暂未成为市场主流。Loihi芯片由于效率高、耗能低也可能成为其他识别的应用工具。
NCC lab认为本文研究很好地开启了将neural plasticity规则在Neuromorphic chip上实现，并表达神经元temporal coding的信息，具有气味识别的功能。神经科学给本文中的算法提供了非常好的启发：
1）architecture的构建，即MC和GC的设定与个数，其激活与抑制的机制；
2）gamma oscillations对MC放电的调节；
3）训练网络的时候的plasticity rule深受神经系统的规则的启发。
但本文也存在一些问题，这些都是下一步值得去探索的方向：
1）本文的算法并没有解决机器学习的两大主要难题（灾难性遗忘问题和对抗样本问题）。首先，虽然本文作者claim他们解决了解决灾难性遗忘问题，但我们认为本文并没有创新性地解决它，只是非常tricky在新的气味训练的时候增加了GC的数量，这并不是一个完美的solution。其次，本文也没有在对抗样本中测试其算法的效果。
2）本文的算法没有体现对更复杂且更庞大数据的处理能力。首先，他们只测试了10种单一气味，并没有混合高维水平上的测试；其次，在添加噪声时，60%到80%的噪声有些过于苛刻，跟现实情况的噪声可能相去甚远。另外，文中的噪声是直接添加到MC上的，而现实中很有可能是有多重噪声（包括气体中直接混入噪声、neuron中加入噪声、forward/feedback中加入噪声等等）。本文的算法在真正处理现实中带有噪声的气味时，表现能力并未可知。
文献：
Nabil Imam and Thomas A. Cleland(2020) Rapid online learning and robust recall in a neuromorphic olfactory circuit. Doi:10.1038/s42256-020-0159-4