The Innovation | 模数融合的全新训练模式：物理神经网络的构建

导

读

随着机器学习在各学科的广泛应用，算力需求急剧增长，能耗显著增加。来自康奈尔大学的Logan G. Wright等人在Nature发表的研究表明，采用物理-数字联合训练方法构建的物理神经网络在有效降低能耗的同时，仍具备可与纯数字机器学习模型相媲美的计算性能。本篇评论简要介绍了基于物理系统的模拟计算平台在深度学习领域的发展，讨论了物理感知训练方法在物理神经网络构建中的优越性以及面临的挑战。

图1  (A) 传统的数字化神经网络；(B) 物理神经网络（PNN）结构；(C) 三种可调的物理系统；(D) 物理感知训练方法（PAT）

近年来，机器学习技术不断发展，除计算机领域外，在生命科学、医学、材料科学、量子物理、音乐等领域都展现了其独特的优势。通常意义的机器学习是一种纯数字化的神经网络模型（图1A），往往基于计算机等数字平台实现。随着越来越多的机器学习算法的开发，大规模机器学习应用对计算机算力和能耗提出了新的挑战。

针对上述问题，搭建基于物理系统的模拟计算平台被认为是一种极具潜力的解决方案。研究人员利用物理系统固有的声、光、电信号等转换性质，对物理单元进行设计和组合构建物理神经网络（PNN）（图1B），从而实现与传统的纯数字化神经网络相似的计算效果。经过训练的PNN可以基于物理系统的自响应进行信号处理，与电子芯片相比能耗更低、速度更快。

在早期的研究中，PNN的构建需要基于物理系统和传统神经网络之间的数学同构关系，其训练过程通过仿真方式在计算机上进行，再将训练好的参数移植到真实物理系统中。然而，仿真模型和真实物理系统之间的误差难以避免，基于数学参数-物理结构的对应关系进行参数移植也使物理系统的设计变得十分困难，最终都会造成PNN模型的性能损失。

最近，来自康奈尔大学的研究人员打破了上述训练模式，提出一种物理感知训练方法（PAT）对基于可调物理系统的物理神经网络进行训练。在该训练模式下，采用扬声器、光学晶体和电路元件分别构建了声学、光学和电学版的PNN（图1C），经过训练的PNN可以高效地执行元音分类、手写字体识别等常见的机器学习任务。PAT训练过程中将基于物理系统的正向计算和基于仿真数字模型的反向传播相结合（图1D），显著降低了由于参数移植带来的性能损失。

PAT算法通用性强，可用于训练多种类型的可调物理系统，经过训练的PNN均可准确地执行所需计算。这种基于模拟计算的PNN尤其适用于需要对大量声、光、电等模拟信号进行处理的使用场景，未来有望应用于新型传感系统设计等领域。值得注意的是，虽然PNN的正向推理过程是十分高效且节能的，但是前期的数据采集较为困难，必须依靠物理系统获取大量输出响应。因此，现阶段的PNN更适用于解决相对简单的机器学习问题。此外，物理硬件的微型化、集成化以及并行训练等问题是PNN走向实际应用面临的巨大挑战。

总结和展望  

与单纯依靠数字计算的传统机器学习模型相比，基于模拟计算的PNN具有更高计算速度和更低能耗，在特定的应用场景下有其独特的优势。若能将模拟计算和数字计算有机结合起来，实现物理硬件-数字芯片之间的系统融合，无疑会在全局系统层面产生更大的性能收益。我们期待这种模数融合的新型计算模式可以进一步应用到边缘计算、智能传感等对算力和能耗极为敏感的领域，成为连接物理世界和数字世界的桥梁。

责任编辑

何承勇   厦门大学

张卫信   河南大学

扫二维码｜查看原文

原文链接：https://www.cell.com/the-innovation/fulltext/S2666-6758(22)00083-2

本文内容来自Cell Press合作期刊The Innovation第三卷第五期以Commentary发表的“Physics-aware training for the physical machine learning model building” (投稿: 2022-04-26；接收: 2022-06-23；在线刊出: 2022-07-07)。

DOI: https://doi.org/10.1016/j.xinn.2022.100287

引用格式：Sun X., Yang Y., Jia H., et al. (2022). Physics-aware training for the physical machine learning model building. The Innovation. 3(5),100287.

作者简介

杨 军，中国科学院特聘研究员、博士生导师，中国科学院大学教授。现任中科院声学所副所长，兼中国科学院大学电子电气与通信工程学院副院长。研究方向为音频声学、声学材料与人工结构等。发表论文400余篇，国际大会报告5次，制定国家标准5项，授权发明专利70余项，一批专利技术已实现产业化。曾获2项省部级二等奖、国务院政府特殊津贴、中科院“朱李月华优秀教师”和“优秀导师”等奖项。现为中国声学学会常务副秘书长、声频工程分会/产业促进工作委员会主任委员，中国乐器协会副理事长，中国声学学会/电子学会/国际声与振动学会会士。

往期推荐

	MOFs衍生中空多孔纳米材料的合成与应用

	风力发电的防冰除冰技术任重而道远

	氮杂环丁烷的简洁构建

	生物发酵法尼烯合成异植物醇助力维生素E的合成变革

	“小”液滴，“大”冷却：超高温固体表面液体冷却的新突破

	催化技术再立奇功：N型电学掺杂

	未来的塑料会是这样的吗？二氧化碳基、廉价、性能优良且单体可回收！

	弹热制冷冰箱：零碳排放制冷新技术

	钴铁合金新型催化材料助力碳中性航空燃料合成

期刊简介

扫二维码 ｜ 关注期刊官微

The Innovation是一本由青年科学家与Cell Press于2020年共同创办的综合性英文学术期刊：向科学界展示鼓舞人心的跨学科发现，鼓励研究人员专注于科学的本质和自由探索的初心。作者来自全球46个国家/地区；每期1/4-1/3通讯作者来自海外；已被107个国家/地区作者引用。目前有193位编委会成员，来自21个国家；50%编委来自海外；包含1位诺贝尔奖获得者，33位各国院士；领域覆盖全部自然科学。The Innovation已被DOAJ，ADS，Scopus，PubMed，ESCI，INSPEC等数据库收录。秉承“好文章，多宣传”理念，The Innovation在海内外各平台推广作者文章。

期刊官网1（Owner）：

www.the-innovation.org

期刊官网2（Publisher）：

www.cell.com/the-innovation/home

期刊投稿（Submission）：

www.editorialmanager.com/the-innovation

商务合作（Marketing）：

[e-mail]

Logo｜期刊标识

See the unseen & change the unchanged

创新是一扇门，我们探索未知；  

创新是一道光，我们脑洞大开；  

创新是一本书，我们期待惊喜；  

创新是一个“1”，我们一路同行。