对机器学习、张量网络和物理的一些看法 | 程嵩

集智这场讨论会是这几年来参加过的学科跨度最大的一次学术交流活动。参会者的背景差异那么大，却能碰撞出那么多的火花。这是我在参加这次活动之前万万没有想到的。

这篇文章是我那丰富的五天以及近期的很多想法，问题，思路的一个粗糙整理。

可能会比较零散。

1、

张量网络与统计物理模型

我自己的背景就是张量网络。主攻张量网络态的数值重整化群算法。

张量网络非常年轻，准确的说来是最近十几年才开始被物理学家广泛使用的一种数学表示。这种表示有很多天然的优点。（尤亦庄师兄介绍的时候相信大家都已经感受到一些了。明理老师开玩笑说：“物理学家都是外星人”）

张量网络能够很自然的表示极其复杂的张量指标缩并。这一点很令人舒服，不过这只是张量网络的一个小优点。它真正的强大的地方在于：我们可以证明，任何局域的经典统计模型的配分函数可以写成张量网络，任何局域的量子模型的波函数也可以写成张量网络。并且，写出来的张量网络，自动保证物理模型（波函数）的很多性质。比如格点的几何特性，拓扑，关联函数，平移不变性，纠缠谱和纠缠熵。（甚至在AKLT模型这样的例子中，一度感觉非常抽象的分数化拓扑激发也可以用张量网络非常干净舒服的导出来。）

不过虽然有了这么好的一个表示，物理学家们关心的物理问题却并没有真正得到解决。因为虽然可以把物理模型表示成张量网络，一堆张量的复杂乘积缩并。但要真正计算出一个张量网络却并不容易。如果蛮干，那么需要的计算量和存储空间大概会随着张量个数指数地往上翻。这显然是不可接受的。所以你真正能做的，是一边缩并张量指标，一边对张量做近似。但要做好这样的近似却远非一件平庸的事。你可能要考虑模型本身的能级，重整化流，标度性质；要考虑张量本身的代数结构，考虑张量的秩分解（有一个NP问题），乃至考虑网络中顶点之间的对称性，纠缠和熵。

所以我们这一领域的关键在于给张量找到一个足够好的粗粒化近似。而我们领域的困境也在此。

2、

机器学习与张量网络

机器学习是很自然就会想到的一种可能的办法。我可以把张量网络中个某个张量元胞作为训练集输入，用它与一个未知的小尺寸张量之差的范数作为cost function. 让神经网络自己来找出一种让cost function 最小的小尺寸张量。那么这个小尺寸张量就是我们想要的最佳近似了。

想法是很简单的。但是真正要做下去就要考虑以下一些问题，首先机器学习算法处理的data是数组而不是张量，如果强行把张量reshape成数值训练的话。不能保证训练出来的张量还能够保证物理模型要求张量满足的一些基本代数结构（幺正性，厄米性）。在与甄慧玲讨论的过程中，她给我介绍了好几种基于高维数组（或者说张量）的机器学习算法。但泛泛看来目前这些算法在训练的时候似乎都还不能保证物理系统中要求的这么严的限定。

第二个问题是机器学习算法的表示能力能否真的能得到这样的张量。不过目前看来这一点似乎不用太过于担心。

另一个问题是机器学习算法（上面说的机器学习均指人工神经网络）本质上就是梯度下降法，无非是变量非常多的梯度下降而已。那么此优化算法和传统的优化算法比较，稳定性如何？不过这个问题问得太难了，目前还没有任何想法。

3、

张量网络、宇宙学和量子纠缠

听尤亦庄师兄讲AdS/CFT对我而言是一件非常好玩的事。MERA，一种我非常熟悉的张量网络态。在我们这边是计算经典系统宏观热力学量，量子系统基态的一种张量网络表示。而在跟我们相距甚远的宇宙学家那边，就变成了离散化的反德西特空间的表示。变成了全息原理，MERA的拓扑结构巧妙地对应到了引力理论上面，时空与量子纠缠自然地联系起来。这里边好玩的东西太多了。比如说最容易想到的：把宇宙看作是一种材料。那么这个材料的晶格长度就是普朗克尺度，这个材料的基态就是真空。激发态就是各种各样的基本粒子。甚至更近一步。这个宇宙可以是一个四维材料，我们生活的空间是这个四维材料的SPT表面态。

不过张量网络态被宇宙学家拿去作为Ads/CFT的数学表示我并不意外。因为它是目前描述量子纠缠最自然最优雅的方式。所以凝聚态物理学家喜欢用，宇宙学家自然也喜欢用。事实上，做量子信息和量子计算的同学们也对这套方法抱有兴趣。我和罗秀哲讨论过一天（他的背景是量子算法），有没有办法把各种各样的张量网络看成各种各样的量子线路。有没有办法把各种各样的机器学习算法变成量子线路上的量子机器学习算法。罗是一个非常积极的年轻人，编程功底很棒。

4、

统计物理模型与机器学习

统计模型本身与机器学习的联系也是一个很有趣的问题。15年一篇文章发现了深度学习与重整化群的精确映射。（不过那篇文章选的例子太过于特殊，不好用）16年5月份另一篇文章用机器学习训练出可以自动找出伊辛模型相变点的神经网络。大概从这两个时间点开始，物理学家们开始大量关注机器学习（直接导致一些机器学习领域的专家也开始浏览arXiv了~）。这里的细节其实我一直想和李嫣然探讨一下来着。但并未成行，是一个小小的遗憾。

在和张潘老师的讨论中我对RBM的认识深入了不少。当时感觉这个自带哈密顿量的机器学习算法对物理学家来说真是一个非常棒的切入点啊。后来的很多工作验证了我当时这个感觉。

5、

张量网络和机器学习

张量网络与机器学习，似乎又回到了前面讨论过的话题。其实并不是哈。这是上面那个的反问题。

机器学习应用到张量网络中的困难在于：张量自身带有很多结构，而机器学习的优化太自由，很难正确反应出内部的结构而浮于表面。

那么我反过来想，张量网络有结构，机器学习缺少结构。那么我把张量网络中那些反应局域性，纠缠，熵，平移不变，正定的种种结构赋予给机器学习。是否可以进一步优化机器学习的表现？甚至是否可以给机器学习为什么work well一个充满物理图像的解释？

这件事情细想起来就很好玩了，而且我相信肯定是可以做到的（事实上已经有人开始这么干了。加拿大PI研究所的MILLS他们用MPS 成功训练了MNIST dataset. 虽然正确率还比不上现行成熟的机器学习算法but it work. 这说明物理机制的确在数据的训练中起到了作用）。之前跟另一位老师聊的时候有提到，机器学习算法目前没有一个严格的数学原理。为什么？因为机器学习可能不是一个数学问题，而是一个物理问题！

推荐阅读

◆ ◆ ◆

集智俱乐部

英文名： Swarm Agents Club ，

简称“ SA Club ”，成立于 2008 年 

是一个从事学术研究、

享受科学乐趣的探索者的团体 。

力图搭建一个中国的

 “ 没有围墙的研究所 ”。

集智QQ群｜292641157

商务合作｜[e-mail]

投稿转载｜[e-mail]

让苹果砸得更猛烈些吧！

长按识别二维码，关注集智Club，

让我们离科学探索更近一步。