导语
人类的感官系统对环境中常见的特征比对不常见的特征更敏感。例如，与较不常见的对角线方向的小偏差相比，人类更容易检测到更频繁遇到的水平方向的小偏差。近日发表于 Nature Communications 的研究发现，被训练来识别物体的人工神经网络，也具有与图像特征统计相匹配的灵敏度模式。研究从数学上证明，神经网络使用梯度下降学习时，会优先创建对常见特征更敏感的表征，这是有效编码的标志。这种效应出现在具有非约束编码资源的系统中，另外在学习有监督和无监督目标时也会发生。这个结果表明，高效的编码可以自然地从类梯度学习中涌现。
关键词：机器学习，神经编码，认知神经科学
研究标题：
Efficient neural codes naturally emerge through gradient descent learning
研究地址：https://www.nature.com/articles/s41467-022-35659-7#Abs1
认知心理学指出，视觉方向的变化在垂直或水平方向附近比倾斜方向更容易被察觉，这被称为倾斜效应（oblique effect）。例如下图中，垂直的树和山相比倾斜的根茎，更容易被大脑记住。这是由于检测刺激物中微小变化的能力系统地依赖于刺激物的价值，常见方位的变化更有可能促使我们研究潜在原因，因此高效的表征应该优先加以关注。图1. 倾斜效应示意图。| 来源：https://www.zhihu.com/question/433969749优先编码经常出现变化的维度，是在信息论意义上利用有限的编码资源的最高效方式。而知觉敏感性，通常反映了视觉环境的统计规律。图2展示了对真实环境中经常出现变化的地方，感知会更加敏感，投入更多的编码资源，还会导致学习率相应变化。上述的认知敏感性是如何涌现出的？可以采用人工神经网络加以模拟。尽管大脑并非以梯度下降的方式学习，但梯度下降算法可以看成是基线。研究者考察了基于卷积神经网络的模型 VGG16 及 Resnet18，以及非卷积网络架构的 transformer，可以看到针对测量了给定定向的刺激角度，网络激活变化的幅度（图3c-e）呈现出类似倾斜效应的模式，即在0度、90度及180度时更敏感。图3. 被训练分类自然出现物品的人工神经网络，会呈现类似人类的编码敏感性
通过在深度线性网络中的训练，发现在线机机器学习通过梯度下降法自然而然地导致出现频率与编码灵敏度对应。当训练数据中某些特征更加普遍时，训练时网络对这些特征更早地做出响应。当学习结束时，由于有限的训练时间、有限的数据或饱和性能，会存在一个残余的较高的灵敏度的共同特征（图4）。图4. 线性神经网络中的学习动力学，如何导致编码敏感性与出现频率间的对应。
研究者还训练了一个非线性的三层神经网络，来解码一个具有固定概率分布的正弦光栅的方向（如图5a），并对输出标签应用噪声来控制每个刺激物中有关标签的信息。正如预期的那样，输入频率和输出噪声分别影响学习表征的灵敏度（图5b，c）。当在更为常见的标签上应用更大程度的噪音，以平衡它们对信息的影响时，更高的灵敏度输入方向依然出现了更多的共同方向（图5d）。请注意，标签信息仍然是至关重要的，如果一个特性没有关于标签的信息，即使它频繁出现，在最后的几层神经网络也不会被学习到，但靠近输入的层，依然会对经常出现的特征变得敏感。这为上述的发现提供了一个更深层次的洞见，即对频繁出现特征的偏好是梯度下降法学习的一个普遍特征，与标签出现的频率无关。图5. 神经网络中经常出现的特征与训练标签对应的频率对网络的特征敏感性间的关系
该研究发现人工神经网络的内部表征对更常见的基本视觉特征更敏感，这是高效编码的一个标志性特征。上述特征会自然而然地在基于梯度的学习过程中涌现，即使是在最简单的线性网络架构中。对于认知神经科学，该研究考察的学习动力学可能成为神经科学中低维神经流形的一般观点的基础。考虑到理想的观察者也必须从有限的数据中学习，而从有限的数据中成功学习也必须受到限制，因此适当的学习约束可以通过进化加以选择。未来的研究可能有助于解开这些最佳学习算法和特点，以及它们对认知的影响。神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。