PRL：研究进展——无监督学习整合先验的统计物理理论

点击蓝字关注我们

无监督学习能从原始无标签的数据中提取规律。在生物智能中, 无监督学习通常能整合感知输入和从经验中获得的先验知识。因而, 学界普遍认为无监督学习是生物和人工智能的核心要素。无监督学习可能受感知输入驱动,也有可能被先验驱动; 因此, 定量的理解先验在无监督学习的作用显得十分重要。

当前的研究过于强调无监督学习的生物实现或大规模人工神经网络应用, 而对无监督学习过程的科学理解则远远滞后. 在该研究进展中, 中山大学黄海平副教授课题组提出了能够定量解释先验作用的理论模型。感知输入能够驱动神经网络不断自发地破坏内禀对称性. 这些对称性包括神经权重翻转对称性和隐层神经元交换对称性。该理论模型有两个重要发现: (1) 先验知识能极大地降低无监督学习自发对称性破缺所需的最小数据量 (图2)。而且, 权重间的弱关联扮演更重要的角色。(2) 先验能够强烈的影响交换对称性破缺 (图1)。在无先验情形下, 交换对称性通常有两个亚型: 其一为神经网络本身的交换对称性被打破;其二为数据规律本身对应的神经网络交换对称性被破坏。先验能够融合这两个亚型, 而不是像无先验那样分离两个亚型。

该理论模型因此阐述了先验对无监督学习的影响, 即重组了内禀对称性自发破缺的过程。该研究结果为更深入的研究无监督学习的物理本质提供了理论框架。[T. Hou and H. Huang. Statistical physics of unsupervised learning with prior knowledge in neural networks, Phys. Rev. Lett. 124, 248302 (2020)]

相关工作在线发表在Phys. Rev. Lett. （DOI:10.1103/PhysRevLett.124.248302）上，论文第一作者为香港科技大学博士生候天齐(长期访问黄海平副教授课题组)。 黄海平副教授为论文的唯一通讯作者。该研究受到中山大学百人计划基本启动经费，国家自然科学青年基金（课题名称:神经网络无监督学习的相关统计物理研究）的资助。