冯·诺依曼的遗产：寻找人工生命的理论根源

Original 2017-11-12 东方和尚 集智俱乐部

现在的人工智能研究如火如荼。然而，尽管AlphaGo Zero早已经秒杀人类智慧，但它却是冷冰冰、无生命的机器，因为它缺少一颗热血沸腾的“心”。当我们看到小虫子沿着崎岖的路面爬向食物，我们知道它是活的，因为它可以凭借它自己的“心意”，而移动到它想去的方向。它们之间的差距究竟是什么？

人工生命是回答这些问题的计算机科学分支。尽管自从九十年代之后，人工生命才逐渐发展起来，成为独立于人工智能的科学领域，但它的理论根源却可以追溯到二十世纪五十年代。那个时候，一个伟大的数学家兼发明家冯·诺依曼正在思考如何制造可以复制自身的机器。一个机器仅凭自己而复制自身看起来是不可能的，因为这意味着它要将自己所有的状态都描述成代码，当然这就包含了这段代码本身，无穷的自嵌套会很快陷入逻辑的死循环。然而，巧妙地是，凭借着著名的自指技巧“蒯恩”（以美国著名哲学家蒯恩而命名），冯·诺依曼完成了自复制机器的设计蓝图，找到了“机器之心”。更重要的是，冯·诺依曼研究这个自复制机器的核心目的并不在于生命自复制这个问题本身，而是希望寻找出一条途径，能够让机器一劳永逸地“抵抗熵增”，不断朝越来越复杂的方向进化，而这一方法极有可能就是制造强人工智能机器，甚至是具有自我意识的智能机器的正确途径。

在人工智能盛行的今天，当绝大多数人仅对“奇巧淫技”感兴趣的时候，集智俱乐部重新编辑推出冯·诺依曼自动机理论这系列文章，这是著名人工智能先驱Arthur Burks整理的冯·诺依曼的手稿《自复制自动机理论》的第一部分，该部分详细论述了思考自复制自动机的动机与意义。该文后经由集智俱乐部资深粉丝“东方和尚”翻译成中文，并由张江注释后奉献给广大读者。希望通过溯本清源，我们能够重新追溯冯·诺依曼的思考轨迹，从全新的视角审视人造机器的生命本质。

全书纲要：

前言与编者介绍自复制自动机前言

　　冯·诺依曼在计算机方面的工作

　　冯·诺依曼的自动机理论

第一部分：复杂自动机的组织与理论

　　第一堂课：一般意义的计算机

　　第二堂课：控制与信息理论

　　第三堂课：信息的统计理论

　　第四堂课：大数之道

　　第五堂课：复杂自动机的一些考量——关于层次与进化的问题

在翻译过程中，做了以下的添加和修改：

1、为了方便阅读，为原文进行了分段，并加上了段标题；

2、为了让读者感觉更亲切，加上了若干副插图。

3、为原文添加了大量的评论，东方和尚的评论和张江老师的评论都会标注出来，另外，因为这本书是冯·诺依曼的助手 Arthur W. Burks(遗传算法之父 John Holland 的博士生导师)，所以在“【】”之中的文字是编者加的注解。大家要注意分辨。

导读

计算机和自然界中的生命之间存在着重要的相似性，把这样两个不同的但是却密切相关的系统做比较，可以带来很多的启发。那是否存在一种可以概括这两种系统的理论呢？冯·诺依曼称这个系统理论称为“自动机理论”。自动机理论包含了人工与生物系统的结构与组织，在这些系统中语言与信息的作用，以及对这类系统的编程与控制等内容。“那么自动机理论”的核心是什么呢？

冯·诺依曼认为自动机理论的核心概念就在于复杂性。就如同，人包括天地万物，是一种比他们能够构建的人工自动机更复杂得多的生物自动机。正是由于这种复杂性，人类对于它自己的逻辑设计的细节理解要远远比不上对他所构建的最大型计算机的理解。

有关冯·诺依曼

世人只知道冯·诺依曼是第一台计算机的发明者。但这种认识既不正确又远远低估了这位伟大数学家对人类的价值。首先，史上第一台计算机ENIAC并非冯·诺依曼发明，而被冯·诺依曼进行了大刀阔斧的改造形成了EDVAC计算机，而这台机器的设计架构才是沿用至今的冯·诺依曼体系结构。因此冯·诺依曼是第一台计算机的改造者，但改造是如此天才和成功才让冯·诺依曼的名字为人熟知。其次，冯·诺依曼的价值被世人远远低估。我们所熟知的计算机体系架构的发明仅仅是他利用坐火车的“业余时间”而设计出的成果。他的“业余产物”还包括如今被经济学家、政治学家奉为经典的博弈论。而几乎没人直到，冯·诺依曼真正关心的问题全部是人类科学的基础理论难题而非应用科学，然而他先是与“哥德尔定理”的发现擦肩而过；后来又被物理学家狄拉克抢去了他在量子力学领域的风头。事实上，他的《量子力学的数学基础》一书直到五十年后才被人发现是奠定了“量子信息”基础的理论经典。更有趣的是，冯·诺依曼虽然一直研究基础数学和一些应用科学，但他的一生曾在六大重大哲学问题上都做出过贡献，这其中就包括他对生命本原的理解。也许是为了洗涤他在制造原子弹的“曼哈顿”工程中的罪恶之心，他将人生最后的辉煌全部奉献给了人工生命的研究，并最终在未能完成夙愿的情况下英年早逝。

冯·诺依曼的自动机理论

介绍

只要你对冯·诺依曼所取得的研究成果稍加浏览，你一定立即被其研究之深度和广度所震撼。尤其显得与众不同的是，冯·诺依曼的成就涵盖了从理论到实践的广阔的领域。而且他还可以很好地将理论和实际结合起来，他是第一个认识到计算机技术可能引发技术革命，也会对人类生存的环境（例如天气）进行预测与干预的人。之所以冯·诺依曼可以在很多不同的领域做出突出贡献，主要原因是他可以根据自己的兴趣把很多完全不同的能力综合起来。他的超强理解和记忆能力可以很快地吸收、组织、保留和使用大量的信息。而广泛的兴趣又使他能够接触到很多领域的工作。他是一个解决各种困难问题的高手（virtuoso），并且可以用他自己的方法深入分析，直到触及各种问题的本质。

广泛的兴趣是冯·诺依曼作为一位伟大的数学家的最出众之处，这还使他成为了一位最卓越的应用数学家。他一方面对各种自然科学问题和工程实践问题非常熟悉，另一方面也非常擅长抽象的纯数学方法。他的这种与科学家和工程师们沟通的能力在数学家中是很罕见的。他曾虚心学习历史以及科学研究方法，并探讨它们与纯数学的关系[25]。由于这样的一种背景和性格，冯·诺依曼能够开创关于计算机的一般理论就是非常自然的事情了。冯·诺依曼观察到计算机和自然界中的生命之间存在着重要的相似性，把这样两个不同的但是却密切相关的系统做比较，可以带来很多的启发。所以他开始寻找一套可以概括这两种系统的理论，并将自己的这个系统理论称为“自动机理论”。自动机理论包含了人工与生物系统的结构与组织，在这些系统中语言与信息的作用，以及对这类系统的编程与控制等内容。在本文集中的第一部分和第二部分的第一章和第二章中，有多处讨论了自动机理论的内容。

冯·诺依曼早期在计算机设计和编程方面的研究工作使得他认识到，数理逻辑会在新的自动机理论中起到重要作用。但是，由于其他的一些原因（我们在后面会提到），他认为现有的数理逻辑虽然在自动机理论不无用处，但是还不足以成为他的这种特别的自动机的核心逻辑。取而代之，他相信自动机的新逻辑将更类似于概率论、热力学和信息论。因此冯·诺依曼的自动机理论从一开始就具有明显的跨学科特征。

不幸的是，由于冯·诺依曼过早去世，他并没有完成他的自动机理论。在他关于这个主题的最后工作中，他提到“如果我们能够谈论这样的一套自动机理论就好了，然而，令人遗憾的是，直到现在这套理论也仅仅是对‘经验的总结’。”[26]尽管如此，在这个领域，冯·诺依曼的研究还是当之无愧的开山鼻祖。他概述了自动机理论的轮廓：它的结构、内容以及相关的问题、应用以及数学形式；他比较了人工自动机与生物自动机；最后，他形式化地给出了两个自动机理论的基本问题并初步进行了解答，这就是：一个可靠的系统是如何利用不可靠的元件构造的？什么是一个自复制自动机的基本逻辑构成？第一个问题在他的文章“概率逻辑以及如何由不可靠元件合成可靠的有机体”中，第二个问题则在本文集的第一部分的第五个讲座以及第二部分进行了讨论。我不知道冯·诺依曼是怎样想到这两个问题的，但是从他的兴趣和文章来看，它们主要来源于冯·诺依曼早年在计算机领域的实际工作。新的电子计算机具有革命性的意义，因为与早期的计算系统（人工的、机械的以及电力的机器，或者是它们的混合）比较起来，新计算机可以做更大量的自动而快速的计算。ENIAC、EDVAC 以及高等研究院的计算机都朝着更强大的计算迈进了一大步。在求解一般的非线性偏微分方程的兴趣，特别是利用方程来预测天气，使得他自然会去寻找更强大的机器，并试图突破高性能机器计算的瓶颈。作为政府和产业界的资深顾问，冯·诺依曼教授大大促进了大规模计算机的设计和构建事业。

冯·诺依曼通过比较当时最好的计算机与自然界中最智慧的生命得出结论：至少有三个因素可能制约了工程师们建造更加强大的计算机的能力：可用元件的尺寸，这些元件的可靠性，以及对计算元件如何组成复杂的逻辑结构的理论缺乏了解。冯·诺依曼关于元件部分的工作是对第一个困境的解决，而他关于可靠性和自复制自动机方面的工作分别是对第二个和第三个局限的挑战。在他的《概率逻辑：从不可靠组件合成可靠整体》的文章中，给出了两种克服元件不可靠性的方法：不是将这些元件变得更可靠，而是通过变换组合它们的方式使得计算机整体变得更加可靠。他把他这部分的工作视作是一种概率逻辑，这也是沿着自动机逻辑方向迈出的第一步。他关于自复制的工作也属于复杂自动机理论。他认为那些具有很大复杂性的系统中存在着定性的新规律，而这种新规律可以通过对强烈依赖于复杂性的自复制现象的研究而获得。而且，我们知道自复制和自修复的联系非常紧密，因此对自复制现象的研究将有助于我们解决可靠性的问题。这就解释了为什么冯·诺依曼会对复杂自动机非常感兴趣，他希望得到一个关于由计算元件构成的复杂系统的，关于其逻辑结构的理论。他认为可靠性和自复制的问题与复杂自动机密切相关。另外，还有两个相关的因素。首先，冯·诺依曼相信我们应该从那些可以被清晰描述的问题，甚至是我们熟悉的日常现象入手开始建立一门新科学，这些经验的积累可以进一步发展出一套严格的理论去解释这些现象[27]。他关于可靠性和自复制的问题就属于这一类。第二，冯·诺依曼相信复杂自动机的恰当理论将有助于解决计算机能力瓶颈的问题。他明确地指出，除非我们有了一个关于自动机的足够深刻的理论，否则计算机的复杂度和能力就有一个极限，而我们很难突破这个极限。[28]

生物与人工自动机通过考察两种主要类型的自动机：人工的和生物自动机，我们就可以明白冯·诺依曼的自动机理论的范围以及它的跨学科的特性。模拟与数字计算机是最重要的一类人工自动机，但通讯或信息处理目的而造的其他的人造系统也包括在其中，如电话和收音机广播系统等。生物自动机则包括了神经系统、自复制和自修复系统，以及生命的进化与适应等特性。自动机理论明显一方面与通讯与控制工程相交叉，另一方面也与生物学交叉。事实上，生物与人工自动机的范围是非常广的，我们自然想知道为什么自动机理论会与这些学科不同。冯·诺依曼从来没有讨论过，但是他曾涉及到自动机理论的边界问题。自动机理论与以数理逻辑以及数字计算机等学科为主导的领域非常不同。虽然该理论会在工程实践中有大量的应用，但是，它本身还是一个理论定律而不是实践法则。最后，自动机理论又与生物学不同，因为它更加集中在诸如组织、结构、语言、信息以及控制等问题上。

Animated images from wiki

自动机理论寻找有关组织、结构、语言、信息以及控制的一般性原理。很多这样的原理都可以应用到生物与人工系统中，因此把这两类自动机（生物与人工）作比较是一个很好的出发点，我们将找到并解释这两类不同系统的共同与相似之处，开发能够描述这两类自动机的数学原理。例如，真值逻辑与延迟逻辑适用于计算机元件，同样也适用于神经元，而冯·诺依曼提出的概率逻辑也应该可以横跨这两个领域（参见本文集的第二、三堂课）。以相似的方式，冯·诺依曼提出自复制元胞自动机，其设计将生物机体和数字计算机联系起来了。在这一点上，自动机理论与博弈论有着非常惊人的相似之处。经济系统可以类比为生物界，而游戏则是人类行为，博弈论包含了对于经济系统和游戏的数学原理[29]，因而把两者联系在一起。这一点正像自动机理论包含了人工与生物自动机的共同的数学原理一样。

冯·诺依曼花费了很大的精力来比较生物与人工自动机的同异[30]。近些年来，人们对于自然界和生物学的科学知识积累非常快速，因此，现在如果再将它们进行对比就会比当年冯·诺依曼有更多的细节基础，但是，无疑冯·诺依曼得到了一些非常有趣的一般性的方法和结论。我们可以将这些结论概括成如下几个方面：（1）模拟与数字的不同；（2）基本元件所用到的物理和生物的材料；（3）复杂性；（4）逻辑组织；（5）可靠性。

（1）在冯·诺依曼的著作中，相当的篇幅被用于讨论模拟与数字的区别，并发现这种区别在研究自然自动机的过程中起到了重要的向导作用。参见第一部分的第一个和第四个讲座。他得到的最一般的结论就是自然生命体是一种混合体，同时包含了模拟与数字过程。有很多实例可以说明这一点，这里仅举两例：神经元是“有或无”的，因此数字真值函数逻辑是神经行为的一种初级近似，但是神经元的激活有有赖于空间上的刺激加总，并有疲劳不应现象，这些都是连续而非离散的过程。在复杂的有机体中，数字运算通常与模拟过程交替进行。例如，基因是数字的，而酶是通过一种模拟的方式对功能进行控制的。冯·诺依曼在他关于自然自动机的知识的影响下提出了一种模拟与数字混合的计算模式[31]。这是一个将生物系统的研究结果用于人工系统设计的很好的实例。

（2）冯·诺依曼通过将现存的自然与人工元件对比，包括它们在尺寸、速度、能量需求以及可靠性等方面的区别，并且将这些区别、材料的可靠性以及自动机的组织结构联系了起来。计算机的基本元件要比神经元大得多，而且需要更多的能量，但是它们的速度要快很多。这些区别会影响到系统的组织构成：生物自动机是通过一种更加并行的方式工作的，而数字计算机则是串行结构。真空管和神经元尺寸的不同是由于它们所用材料的机械稳定性不同而引起的。真空管要更容易被损坏却不好修复。而当神经元膜受到破坏以后，会很容易地被复。冯·诺依曼计算了计算元件需要花费的最小能量，从理论上说，计算机元件的最高效率可以达到生物神经元的 1010 倍。（参见第一部分的第四个讲座）他所做的生物与人工元件的比较研究无疑对他的计算机设计产生了影响。

（3）人，也包括天地万物，是一种比他们能够构建的人工自动机更复杂得多的生物自动机。正是由于这种复杂性，人类对于它自己的逻辑设计的细节理解要远远比不上对他所构建的最大型计算机的理解。冯·诺依曼认为自动机理论的核心概念就在于复杂性。而复杂性需要严格的定义。自动机理论将会把复杂自动机的逻辑构成与它的行为联系起来。这一理论将允许我们开发出人工自动机的逻辑设计。这些人工自动机将能够像人类一样执行非常困难的任务以及非常高级的功能，甚至可以在求解非线性偏微分方程等大规模问题方面远胜于人类。在复杂系统中，可靠性问题异常关键。冯·诺依曼怀疑超复杂的系统会涌现出新的原理。例如，他认为在一定的阈值以下，复杂度是降级的，自复制是不可能的。他设想，通常来说对于简单自动机，对它行为的描述要比这个自动机自己更加简单，但是如果自动机非常复杂的时候，自动机本身就会比对它的描述更加简单了。参见第一部分的第二个讲座。

（4）在讨论到生物与人工元件的相对速度的时候，我们注意到生物自动机在操作方式上更多地采用并行处理，而人工自动机则更倾向于串行处理的方式。当我们设计一个自动机或者规划一个计算任务的时候，我们可以在一定程度上规划出串行和并行的部分，但是这一程度是极其有限的。比如串行计算后面的运算步骤会强烈依赖于前面运算的输出结果，因此从原则上讲不能让这些计算并行同时执行。此外，这种效应也会影响到机器的其他方面，特别是内存的求。后面的运算只有在它即将被执行的时候，才能把它所需要的数据存到内存中。人工自动机的内存管理通常是分层次的。不同的层级以不同的速度操作。在一个特定的计算机中，有高速的电子寄存器，有低速的磁芯，以及更慢的磁带单元。再说，机器内部的硬件连线也影响了整个系统的组织方式。冯·诺依曼讨论了机器存储的层级结构，并希望在生物自动机中寻找出相似的层级性。神经环路中的脉冲、神经阈值的改变、神经系统的组织以及基因中的编码就构成了这样的层级实例。计算机的结构与计算机中的一个具体计算过程的结构是不同的。当我们同时考虑这两个因素的时候，生物与人工自动机在串行与并行方面的区别就更显得重要了。冯·诺依曼将这种联系称为计算的“逻辑深度”[32]。一个计算过程包含了大量的基本逻辑步骤（例如转换或者延迟），每一个基本步骤都依赖于之前的步骤。我们将这样的每步都依赖于之前的步骤序列称为一个“计算链”。计算的逻辑深度就是最长计算链的逻辑步数。由于数字计算的高速度，它使用了超长逻辑深度的计算。因此，为了得到最后有用的答案，机器犯错误的概率就得非常小，而且计算结果对每一个逻辑步骤的依赖性都很强。从这里，我们可以引入冯·诺依曼关于生物与人工自动机对比的第五点。

（5）第一台数字计算机几乎没有自动检测错误的功能。人们通过极其细心的设计和构建，特别是通过选择高可靠性的元件的方法避免错误的出现。同样计算机程序也是通过细致的编写与检测完成的。诊断程序用来检测机器的错误，各种过程（例如差分）用于检测计算的结果。因此，设计、建造、使用这些机器的时候，人们希望，任何一个故障会在下一个故障出现之前被发现。这样，当机器遇到错误的时候就会被一个分析进程终止，并将出错部分隔离出来。正如冯·诺依曼在第一部分第四个讲座中指出的，这种处理错误的方法显然不能适用于极其复杂的自动机。因为复杂的自动机的设计和构建方法就决定了它必然充满了大量的错误。进一步，大量的元件就会使得错误间的平均间隔很短，从而使得对问题的定位极其困难。生物自动机在这方面显然要胜过人工自动机，就是因为它们有着强大的自检验自修复的功能。例如，人脑在经受很强的机械损伤或者疾病损伤之后仍旧能够继续很好地工作。因此，从这一点上来看，人工与生物自动机采用了完全不同的方法来对待错误。冯·诺依曼在可靠性方面的工作试图把这两种自动机由此联系起来。

自动机理论的数学原理

冯·诺依曼设想自动机的理论应该是高度数学和逻辑化的。对生物与人工自动机、以及它们的运算交互的大量研究为自动机理论提供过了丰富的实际经验。这与冯·诺依曼所坚信的数学需要从实证经验中获得灵感的想法是一致的。

当冯·诺依曼构建自动机理论的时候，他熟知数理逻辑与自动机的紧密联系。库特·哥德尔曾经展示了逻辑的基本概念（例如良构公式、定理、推理规则、证明）本质上讲是递归（有效的）的，从而将数理逻辑归结为计算理论[33]。递归函数是那些可以被图灵机计算的函数，因此我们可以从自动机的观点看待数理逻辑[34]。相反，数理逻辑也可以用于分析自动机的合成。自动机的逻辑组织可以被表示为理想的开关-延迟元件，因此可以被翻译为逻辑符号。参见第一部分的第二个讲座。正是由于逻辑与自动机的天然联系，逻辑将作为自动机数学理论的核心部分。事实上，冯·诺依曼总是称该理论为“自动机的逻辑理论”而不是“自动机的理论”。然而，他认为自动机的数学理论必然会与经典的逻辑有着本质的不同。简单说，数学可以分成离散的和连续的。逻辑是属于离散的数学分支，而且是高度组合性的。冯·诺依曼认为自动机的数学应该更接近于连续的部分而且主要方法应该是分析性的而不是组合性的。

关于自动机理论相比较传统的逻辑更应该是分析性的观点是一个重要的课题。自动机理论必须要考虑元件失效的概率。数理逻辑仅仅考虑了开关-延迟组件的完美的确定性的特征；它从理论上就没有考虑错误。因此，在实际使用数理逻辑设计的过程中，我们必须额外地考虑这门学科之外的知识。冯·诺依曼希望概率逻辑能够处理元件失效的情况，并且把它作为自动机运算的一个关键步骤。而概率论具有很强的组合性的特征，也具有很强的分析特征。当我们把失效的概率同自动机的逻辑结合考虑的时候，我们就不得不考虑计算的尺度了。在通常的数理逻辑方法中，人们总是要考虑自动机在有限步骤内是否能够完成某种功能，而不管需要多少步。但是在考虑到自动机元件会实现的实际情况下，计算的步骤越多，机器出错的可能性也就会越大，因此最终的计算结果也越有可能是错的。这样一种对计算尺度的考量同样也来源于实际自动机的构建过程。计算机被建造的目的就是要在有限的时间中计算出我们想要的结果。由于我们想让计算机做的很多事情现在还不得不由人类做，在这一点我们须留意人类是一个有限的自动机，而不是图灵机。虽然冯·诺依曼并没有告诉我们应该如何构建一个有关计算尺度的理论。但是这一理论一定会基于“计算量”——需要同时考虑计算的长度（也就是上面提到的“逻辑长度”）以及宽度（并行处理的数量）——这样一个定量概念的。因此，这样一种有关计算量的理论以及它出错的可能性必须同时包括离散数学和连续数学。

"所有这些将会导致一个不同于形式逻辑的新理论的诞生，它将超越非此即彼的判断。这种新逻辑将具有更多的分析特征以及更少的组合特征。事实上，有多种迹象表明，这个新的形式逻辑理论将会与另外一个与逻辑相距甚远的学科靠得更近。这就是热力学，它的主要形式是由玻尔兹曼建立的，是理论物理的一部分，它主要讨论信息的操纵与测量的方方面面。它的技术是分析性的而不是组合性的，我再一次重申了我在上面已经表达的观点[35]。"

冯·诺依曼进一步指出了将分析性数学与自动机理论相结合的方法论上的优势。

“每个曾经接触过形式逻辑的人都知道，它是数学中最难掌握的一部分。原因是，这门学科处理的是严格的，非此即彼的概念，很少涉及实数与复数的连续型概念，也就是数学分析的知识。而分析是整个数学中最成功的一种技术。因此，从方法论上说，数理逻辑就把数学最擅长的部分砍掉了，而深入到了数学疆域中最困难的部分：组合学。”

这个评论非常重要，因为冯·诺依曼曾在离散数学方面做出过重要的贡献。在他的“博弈论与经济行为”一书中，他曾谈到，对于社会学理论来说，组合数学以及集合论会比微分方程更有用[36]。在他自己的自动机理论中，冯·诺依曼从离散数学走到了连续数学。他的概率逻辑就是一例。在这种逻辑之后，他还提出了一种模拟-数字混合的计算系统，这个计算系统就与这种逻辑更接近[37]。他第一个自复制模型是离散的，但是他希望将来能够开发一个连续性的模型。参见本文集第二部分的 I.1.2.3 小节。我们注意到，冯·诺依曼在称呼他自己的自动机理论的时候，叫做“自动机的逻辑理论”，也叫“自动机和信息的理论”，有时候也称呼为“信息理论”，这表明信息在其中起到了关键的作用。他把控制和信息理论分成了两部分：严格的部分和概率的部分。严格部分包含了数理逻辑，这涵盖了有限自动机、图灵机等部分。概率与统计部分则包含了香农的信息论[38]以及冯·诺依曼的概率逻辑。冯·诺依曼把他的概率逻辑看作是对严格逻辑的一种延展。信息论与热力学之间存在着密切的联系。两个学科都用类似的方法使用概率这一概念。参见第一部分的第三个讲座，特别是引用了冯·诺依曼对维纳的控制论的评述这一部分。

冯·诺依曼曾经谈到了热力学与自动机理论的两个联系。首先，他发现热力学中的衰退现象可以类比到自复制自动机理论中：当复杂度和组织程度小于一定阈值的时候，它们就会衰退，但是高于这个阈值的时候，复杂度和组织程度就会升级。其次，他讨论了计算机器设计中的平衡概念的热力学因素。计算机的效率依赖于它不同组成部分在速度和尺度上的恰当平衡。例如，在内存等级中，不同类型的内存（例如晶体管，磁芯、磁带）应该在尺寸和速度方面相互匹配。如果一台计算机的算术单元比内存快很多，或者是内存太小，就好比是一台无效率的热机，它两部分的温度差过大了。计算机的效率必须相对于它的环境来定义（也就是它要解决的问题），这就像一台热机的效率依赖于它的环境一样。工程师们在实践中摸索出了如何去平衡匹配不同元件的经验。而冯·诺依曼希望给出一套类似于热力学的，关于这些平衡的定量的理论。

总之，冯·诺依曼认为自动机的数学理论应该起始于数理逻辑，而朝向分析、概率以及热力学靠近。当这个理论建立起来了，它将能够让我们更好地理解具有异常复杂性的自动机，特别是人类的神经系统。人类神经系统能够做数学推理，并且它的“初级”语言与计算机的初级语言类似（参见上面的讨论）。因此，很有可能自动机理论将会对逻辑学以及数学产生长远的影响。