NeuroAI：迈向下一代人工智能

导语 / Introduction

NeuroAI 是神经科学和人工智能的交叉点，这一新兴领域假定，对神经计算的更好理解将帮助催化人工智能的下一次革命。神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？神经科学和人工智能领域的多位著名学者近日在 arXiv 上发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议，以下是对争论的主角——NeuroAI 白皮书的全文翻译。

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。欢迎感兴趣的朋友参加。

关键词：NeuroAI，人工智能，神经科学

论文题目：

Toward Next-Generation Artificial Intelligence: Catalyzing the NeuroAI Revolution

DOI：

https://arxiv.org/abs/2210.08340

在未来几十年，AI可能会像上世纪发生的计算机革命一样以一种深刻的方式改变社会和世界经济，而且速度可能会更快。这场AI革命为人类在现代经济中释放创造力提供了巨大的机会。人工智能系统的新进展可以使工人获得更高的生产力，并避免工人从事最危险和最卑微的工作。但是，为了实现这一目标，我们需要使AI获得类似人类的能力。从历史上看，神经科学一直是AI进步的关键驱动力和灵感来源，尤其是人工智能更精通的领域，如视觉、基于奖励的学习、与物理世界的互动以及语言方面等，这些领域人类和动物也很擅长（Hassabis et al. 2017）。人工智能依然可以扮演这个角色，但为了加速AI的发展并实现其巨大潜力，我们必须投资“NeuroAI”的基础研究。

几十年前，当时的研究人员为试图了解大脑是如何计算的而埋下了人工智能的种子（McCulloch and Pitts 1943）。事实上，在上世纪40年代，约翰·冯·诺伊曼利用他所掌握的非常有限的关于大脑的知识，建立了现代“冯·诺依曼计算机架构”，这些有限的知识来源于最初建造人工大脑的尝试（Von Neumann 2012）。推动现代人工智能革命的深度卷积神经网络建立于人工神经网络基础之上，其直接灵感来源于戴维·赫贝尔（David Hubel）和托尔斯滕·维塞尔（Torsten Wiesel）关于猫的视觉处理神经环路的工作，后者获得了诺贝尔奖（Hubel and Wiesel 1962; LeCun and Bengio 1995）。与之相似的是强化学习 (RL) 的发展历程，RL的直接灵感来源于对动物行为和其神经活动的观察（Thorndike and Bruce 2017; Rescorla 1972; Schultz, Dayan, and Montague 1997）。几十年后的今天，人工神经网络和RL的应用发展迅速，以至于很多观察者都认为人工智能的长期目标——通用人工智能已经实现了。然而，领域内的人士则认为，在我们建立类似人类、甚至小鼠这样的人工智能系统之前，我们仍需在这个领域取得新的突破，因为现有的人工智能系统尚不能完成类似小鼠的所有任务。

尽管人工智能系统可以在国际象棋（Campbell, Hoane, and Hsu 2002）和围棋（Silver et al. 2016）等游戏中轻松击败任何人类对手，但它们并不鲁棒，在面对新环境的时候往往会失效。此外，我们还没有建立能够走到货架边、取下棋盘、放置棋子、在游戏中移动棋子的系统。类似地，没有机器可以筑巢、觅食浆果或照顾幼崽。今天的人工智能系统无法与四岁儿童甚至简单动物的感觉运动能力竞争。许多应对新情况所需的基本能力对人工智能来说具有较大的挑战，但动物天生就拥有或可轻松获得这些能力，部分原因是人工智能系统缺乏与变幻世界互动的基本能力。越来越多的人工智能研究人员怀疑，仅仅扩大现有方法就能克服这些限制。考虑到需要在AI中实现更多的自然智能，很可能需要从自然智能系统中获得新的灵感（Sinz et al. 2019）。

虽然许多关键的人工智能进步，如卷积人工神经网络和RL，都受到了神经科学的启发，但目前机器学习领域的许多研究都在遵循自己的道路，建立在之前开发的方法基础上，这些方法是受数十年来神经科学的发现而启发，例如受到大脑中注意力机制启发的基于注意力的神经网络（Itti, Koch, and Niebur 1998; Larochelle and Hinton 2010; Xu et al. 2015） 。现代神经科学产生了新的影响，但它们是由少数研究人员带头的。因此在AI的发展中错失了很多机会。在过去几十年中，通过NIH， 脑计划等努力，我们积累了大量关于关于支撑自然智能的解剖学和功能结构的大脑知识。NeuroAI是神经科学和人工智能的交叉点，这一新兴领域基于一个前提：对神经计算的更好理解将揭示智能的基本成分，并催化人工智能的下一次革命，最终导致人工智能的能力与人类相匹配，甚至可能超过人类。我们认为，现在是大规模进行识别和理解生物智能原理的恰当时机，并将这些原理抽象出来用于计算机和机器人系统。

尽管人们倾向于关注智能行为中最具人性特征的方面，例如抽象思维和推理，并且从稀疏观察中做出一般推断的能力已经以某种形式存在于已经进化了数亿年的基本感觉运动环路中。正如人工智能先驱汉斯·莫拉维克（Moravec 1988）所说，抽象思维“是一种新的把戏，也许不到10万年的历史......有效的唯一原因是它得到了更古老、更强大、但通常是无意识的感觉运动知识的支持”，小鼠和非人灵长类动物可以作为自然智能的实验模型。如果人工智能能够匹配他们看似简单的感知能力和运动能力，那么通往人类智能水平的步伐将大大缩短。因此我们相信，如果我们弄清所有动物与世界互动的核心能力，NeuroAI 将带来必要的进步。

- novoto studio -

NeuroAI面对的大型挑战：

具身图灵测试

1950年，阿兰·图灵（Alan Turing）提出了模仿游戏（Turing 1950），以测试机器是否能表现出与人类行为相当或者无法区分的智能。那场比赛，现在广泛被称为图灵测试（Turing test），在比赛中，机器被训练来模仿人类的反应，并要求人类裁判评估真人和机器之间的对话的自然程度。图灵提出，与其具体地说机器是否会“思考”（他认为这是一个不可能回答的问题），可以对“机器会思考吗”这个问题进行合理替代，如我们能否区分机器与人类的会话能力来回答这个问题。图灵测试隐含着这样一种信念，即语言代表了人类智慧的顶峰，能够进行对话的机器一定是智能的。在某种程度上，图灵是对的，但在另一方面，他是错的。虽然没有一个人工智能系统通过了图灵测试，但最近，单纯基于大模型的语言系统可以进行令人惊讶的和令人信服的对话。在某种程度上，大语言模型的成功揭示了我们多么容易被骗，从而将智力、能动性甚至意识归因于我们的对话者（Sejnowski 2022）。另一个原因是，这些系统在某些推理任务上仍然很差（Kosoy et al. 11--13 Apr 2022）。尽管最近的人工智能系统令人印象深刻，但它们的失败也突显出图灵忽视了一个事实，即智力远不止于语言。当前自然语言处理系统所犯的许多错误说明了系统在语义、因果推理和常识等方面的根本缺乏。词汇只有在统计上共同出现时才对模型有意义，而不是基于现实世界的经验，所以即便是最先进的语言模型功能越来越强，但他们仍无法具备一些基本的物理常识。因此，最初制定的图灵测试，并没有探索像动物一样，以灵活的方式理解物理世界的能力。此外，这种对世界的理解很可能建立在我们在无数代的自然筛选中进化出的感知运动能力基础上。

因此，我们提出了一个拓展的图灵测试，包括高级感觉运动能力的测试。最初的图灵测试建立了一个定性标准使我们可以判断人工智能的进展程度。拓展的“具身图灵测试”将对人工系统与人类和其他动物的交互进行基准测试和比较。依据每种动物自己独特的能力定义了各自的图灵测试：人造海狸可以测试其筑坝的能力，人造松鼠可以测试其穿越树木的能力。尽管如此，几乎所有动物都有许多核心的感觉运动能力，这些核心技能为动物快速进化适应新环境提供了坚实的基础。下面我们重点介绍其中一些共同点。

与世界互动。动物的显著特征在于能够有目的的四处走动并与环境互动。尽管最近在优化控制、强化学习和模拟学习方面取得了进展，但机器人在控制身体和操纵物体方面仍未达到动物级别的能力，即使是模拟的程度也达不到（Merel, Botvinick, and Wayne 2019）。当然，神经科学可以提供关于模块化和分层架构的指导，这些架构应用于人工系统以赋予人工系统这些能力。神经科学还可以为我们提供一些设计原则，例如部分自主（在没有高级模块输入的情况下，层级中的低级模块如何半自主地工作）和摊销控制（缓慢规划过程中产生的初始运动如何最终转移到快速反射系统）。了解特定的神经回路如何参与不同的任务，比如运动和对肢体、手及手指的精细控制，感知觉和行动选择，可能为机器人如何实现人工智能系统提供了途径，也可能为其他形式的“智能”提供解决方案，包括更多的认知领域。例如，我们推测，低水平运动控制的神经环路原理有助于为人工智能系统中的高水平运动规划提供更好的基础。

动物行为的灵活性。另一个目标是开发人工智能系统，该系统能够产生类似单个动物的行为范围，从而参与大量灵活多样的任务。现代AI可以很容易地学会在像Breakout这样的视频游戏中只需使用像素和游戏分数信息超越人类（Mnih et al. 2015）。然而，与人类玩家不同，这些系统是脆弱的，对小扰动高度敏感：稍微改变游戏规则，甚至是输入中的几个像素，都可能导致灾难性的性能下降（Huang et al. 2017）。这是因为这些系统学习从像素到动作的映射，不需要理解游戏中的智能体和对象以及支配它们的物理规律。同样，自动驾驶汽车本身并不知道前面卡车上的板条箱掉落的危险，除非它确实看到过卡车上的板条箱掉落导致不良后果的例子。而且，即使它已经接受过关于箱子掉落危险性的训练，系统可能会把前面汽车里吹出来的一个空塑料袋视为一种障碍，从而不惜一切代价避免，因为它实际上不知道塑料袋是什么，也不知道它在物理上有没有威胁。这种无法处理训练数据中未出现场景的情况，是对人工智能系统的广泛应用的一个重大挑战。

要想在一个不可预知和不断变化的世界中取得成功，智能体必须灵活，并通过使用其关于此类情况可能如何进行的一般知识来掌握新情况。这可以说是动物的行为。动物天生就具备茁壮成长所需的大部分技能，或者可以从有限的经验中迅速获得这些技能，这得益于它们在进化和发展过程中在现实世界互动方面的强大基础（Zador 2019）。因此，为一项特定任务从零开始训练并不是动物获得令人印象深刻的技能的方式；动物并不是一无所有的来到这个世界上，然后依靠大型标记训练集来学习。尽管机器学习一直在寻求绕过这种限制的方法，包括自我监督学习、迁移学习、持续学习、元学习、一次性学习和模仿学习（Bommasani et al. 2021），但这些方法都无法实现大多数动物身上的灵活性。因此，我们认为，为现实世界（甚至是简单动物）的行为灵活性提供基础的神经环路原理，有可能极大增加人工智能系统的灵活性和实用性。换句话说，通过利用进化已经参与的优化过程，我们可以大大加快对用于现实世界互动的通用环路的搜索 （Gupta et al. 2021; Stöckl, Lang, and Maass 2022; Koulakov et al. 2022; Stanley et al. 2019; Pehlevan and Chklovskii 2019）。

能源效率。现代人工智能面临的一个重要挑战是能源效率，而我们的大脑已经克服了这一挑战。训练神经网络需要大量的能源。例如，训练GPT-3等大型语言模型需要超过1000兆瓦时的电力能源，足以为一个小镇供电一天（Patterson et al. 2021）。用于训练人工智能系统的总能量很大，而且增长迅速。相比之下，生物系统的能量效率要高得多：人脑约20瓦（Sokoloff 1960）。大脑和计算机之间能量需求的差异源于信息处理的差异。首先，在算法层面上，现代大规模人工神经网络，例如大语言模型（Brown et al. 2020），依赖于非常大的前馈架构，随着时间的推移，实现自我关注（Vaswani et al. 2017），忽略了处理递归顺序信息的潜在能力。原因之一是目前我们在循环网络中还没有有效的信用分配计算机制。相比之下，大脑利用灵活的循环体系结构来处理随时间变化的序列，显然可以高效地解决信用分配问题——甚至比当前人工神经网络中使用的前馈信用分配机制更有效。如果我们可以用大脑来指导如何为循环题写设计有效的训练机制，那么我们就有可能提高处理顺序数据的能力，同时进一步提高我们系统的能源效率。其次，在实现层面，生物神经元主要通过传输动作电位（峰值）进行交互，这是一种异步通信协议。就像传统数字元素之间的相互作用一样，神经元的输出可以被视为一串0和1；但与数字计算机不同的是，“1”（即峰值）的能量成本比“0”高几个数量级（Attwell and Laughlin 2001）。因为生物环路在峰值稀疏的状态下运行——即使非常活跃的神经元也很少在一个工作循环中超过10%，而且大多数神经元的运行速率要低得多，因此它们的能量效率要高得多（Lennie 2003）。

此外，其他因素可能有助于提高生物网络能源效率。例如，生物网络可以有效地进行计算，即使其中一些组件高度不可靠或“有噪音”。神经元之间通过突触进行交流，这种方式非常不可靠，每10条信息中只有1条被传输（Dobrunz and Stevens 1997）。在组织环路时，尖峰序列也是高度可变的，这一特性可能允许神经环路执行概率推理，这是在存在不确定性时的一种鲁棒计算形式（Ma et al. 2006）。当前研究者们正在努力开发脉冲神经网络的潜力（Davies et al. 2018; DeBole et al. 2019），但目前为止还没有杀手级的应用表明这些网络能够以生物级别的能效运行。主要问题归结为目前的“神经形态芯片”既不能复制先天的神经环路功能，也不容易训练（Roy, Jaiswal, and Panda 2019）。因此，虽然脉冲计算的方式更节能，但用处远不如耗能巨大的数字网络。因此，我们认为，在AI中获得更高的能源效率不仅可以通过借鉴脉冲神经网络的思想，还可以通过提供具有先天神经环路功能和学习规则的神经形态芯片实现。

- DeepMind Design -

解决具身图灵测试的路线图

如何开发能够通过具身图灵测试的人工系统？一种自然的方法是在人类进化史的指导下循序渐进地进行。例如，几乎所有的动物都从事目标导向运动；它们会朝着某些刺激（如食物来源）移动，而远离其他刺激（如威胁）在这些基础能力之上是更复杂的技能，如结合不同感官信息流（如视觉和嗅觉）的能力，使用这些感官信息来区分食物来源和威胁，导航到之前的位置，权衡可能的奖励和威胁以实现目标，并以精确的方式与世界互动，以服务于最终目标。在某种程度上，即使是非常简单的生物，如蠕虫，也能发现其具备许多复杂的能力。在更复杂的动物中，如鱼类和哺乳动物，这些能力被精心设计，并与新的策略相结合，从而形成更强大的行为策略。

进化论视角提出了一种解决具身图灵测试的策略，即将其分解为一系列相互构建的挑战性增量测试，并在这个基础上迭代优化（Cisek and Hayden 2022）。此外，代表低级和中级测试挑战的生物体可能包括蠕虫、苍蝇、鱼类、啮齿动物和灵长类动物，它们是神经科学研究中广泛使用的模式生物。我们在这些模式生物行为神经环路和行为机制的基础上通过计算机进行研究，构建虚拟环境和虚拟生物（Merel, Botvinick, and Wayne 2019; Merel et al. 2019）。为了达到所要求的行为灵活性水平，通过图灵测试的人工智能系统将面临一系列针对物种的测试，包括自我监督学习、持续学习、迁移学习、元学习和终身记忆。这些挑战可以标准化，以便对进展进行量化。最终，成功的虚拟生物可以在机器人技术的额外帮助下适应物理世界，并用于解决现实世界的问题。

我们需要什么？

实现这些目标需要大量资源，也需要在传统人工智能和神经科学之外的许多学科做出贡献，包括心理学、工程学、语言学等，除了简单地利用这些领域的现有专业知识，当务之急是培训新一代在工程/计算科学和神经科学方面同样精通的人工智能研究人员。这些研究人员将借鉴神经科学过往几十年的进展，为人工智能研究制定根本性的新方向。最大的挑战将是确定如何利用神经科学、计算科学和其他相关领域的知识来协同推进我们的探索：确定大脑回路、生物物理学和化学的哪些细节是重要的，以及在人工智能的应用中可以忽略哪些细节。因此，迫切需要在不同领域接受过适当培训的研究人员将神经科学知识抽象出来，使其适用于计算机，并帮助设计实验，以产生与人工智能相关的新的神经生物学见解。该研究项目的成功取决于神经科学和人工智能领域的专家研究人员群体的形成。

其次，我们需要创建一个能够开发和测试这些虚拟智能体的共享平台。在创建一个迭代的、具体化的图灵测试和进化人工有机体来解决这个问题时，我们将面临的最大技术挑战之一是计算能力。目前，在专用分布式硬件上针对单个具体任务训练一个大型神经网络模型（例如三维空间）可能需要数天时间（Liu et al. 2021）。为了让多个研究小组在越来越复杂的具身图灵测试上一起工作，在多代的进化中优化和评估大量的智能体，我们需要在共享计算平台上进行大量投资。就像物理学中的粒子加速器或天文学中的大型望远镜一样，这种大规模的共享资源对于推动脑启发的AI研究至关重要。实现这个目标需要一个大型组织的努力，还需要政府和来自工业界的支持，其核心目标是在动物和类脑智能上面取得进步。

第三，我们需要支持计算神经科学的基础理论和实验研究。在过去的几十年里，通过NIH的努力，在很大程度上由于“脑计划”和其他主要资助方的努力，我们已经了解了大量关于大脑的知识。现在，我们对大脑单个细胞元素、神经元的巨大多样性，以及它们作为简单环路的一部分是如何发挥作用的，已经有了一定的了解。有了这些构建模块，我们就可以将注意力转向理解大脑作为一个综合智能系统是如何运作的。这将需要深入了解1000种不同类型的1000亿个神经元是如何连接在一起的，以及其计算能力，即智能是如何连接在一起的，每个神经元都与数千个其他神经元进行通信，并具有可变的、可适应的连接。我们必须对大脑进行逆向工程，把基本原理抽象出来。请注意，虚拟智能体的发展本身将大大加快这一努力，因为它允许在真实动物和数字动物的实验之间进行直接比较，这些尝试将提供对鲁棒控制、灵活行为、能源效率和智能行为所必需的神经环路级别属性和机制的洞察。利用神经科学和人工智能之间强大的协同效应需要项目和基础设施支持，以组织和实现跨学科的大规模研究。

幸运的是，华盛顿特区两党已经达成共识，对人工智能研究的投资对美国的技术未来至关重要。神经科学和人工智能领域社区间的沟通协作将需要联邦政府投入大量资源对这些项目进行里程碑式的、商业化的支持、以及对伦理和创新想法方面的大赌注。目前有一些联邦资源，如国家科学基金会的国家人工智能研究所，明确致力于从神经科学研究中推动人工智能的创新和发现，但这些主要是为了支持传统的学术模式，由不同的小组研究不同的问题，而不是创建一个集中的尝试，可以创建类似于体现图灵测试的东西。同样，对人工智能支持的赠款主要是通过NIH、NSF、DoD甚至EPA的辅助项目，每个都有自己的指令和目标。这就给技术发展本身留下了巨大的资金缺口。通过现有的实体或作为一个独立的机构来创建总体指令，以支持NeuroAI和人工智能研究将推动这一使命，巩固美国政府作为人工智能研发的国际领导者的地位。

结论

尽管神经科学在推动AI发展方面历史悠久，且未来发展的潜力巨大，但AI领域的很多工程师和计算机专家并不了解这一段历史，也鲜有了解的机会。在典型的计算机课程中，很少提到神经科学对冯·诺依曼、图灵和其他计算机学家的影响。NIPS等人工智能顶级会议之前展示了很多计算神经科学和机器学习结合的最新进展，但是近年来NIPS越来越关注纯粹的机器学习技术。很多相关研究人员也意识到了这一点。“工程师不会为了制造更好的飞机而研究鸟类”这句老话作为类比是失败的（Lilienthal 1911; Culick 2001），部分原因是航空先驱确实研究过鸟类，还有一些人仍在研究鸟类（Shyy et al. 2008; Akos et al. 2010）。此外，这种类比在更基本的层面上也不成立：现代航空工程的目标不是实现鸟类级别的飞行，而人工智能的主要目标却是实现（或超过）人类级别的智能。正如计算机在许多方面超越人类一样，比如进行质因数分解的能力，飞机在速度、航程和载货能力等方面也超越了鸟类。但是，如果航空工程师的目标确实是制造一种具有鸟类能力的机器，能够在茂密的森林树叶中飞行，并轻轻地落在树枝上，那么他们最好密切关注鸟类是如何做到的。同样，如果人工智能的目标是实现动物水平的常识性感觉运动智能，那么研究人员最好向动物学习以了解他们如何在不可预测的世界中进化出行为方式。

NeuroAI读书会招募中

神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。

参考文献

1. Akos, Zsuzsa, Máté Nagy, Severin Leven, and Tamás Vicsek. 2010. “Thermal Soaring Flight of Birds and Unmanned Aerial Vehicles.” Bioinspiration & Biomimetics 5 (4): 045003.

2. Attwell, D., and S. B. Laughlin. 2001. “An Energy Budget for Signaling in the Grey Matter of the Brain.”Journal of Cerebral Blood Flow and Metabolism: Official Journal of the International Society of Cerebral Blood Flow and Metabolism 21 (10): 1133–45.

3. Bommasani, Rishi, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, et al. 2021. “On the Opportunities and Risks of Foundation Models.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2108.07258.

4. Brown, Tom, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, and Amanda Askell. 2020. “Language Models Are Few-Shot Learners.” Advances in Neural Information Processing Systems 33: 1877–1901.

5. Campbell, Murray, A. Joseph Hoane, and Feng-Hsiung Hsu. 2002. “Deep Blue.” Artificial Intelligence 134 (1): 57–83.

6. Cisek, Paul, and Benjamin Y. Hayden. 2022. “Neuroscience Needs Evolution.” Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences 377 (1844): 20200518.

7. Culick, Fred. 2001. “What the Wright Brothers Did and Did Not Understand about Flight Mechanics - In Modern Terms.” In 37th Joint Propulsion Conference and Exhibit. Joint Propulsion Conferences. American Institute of Aeronautics and Astronautics.

8. Davies, Mike, Narayan Srinivasa, Tsung-Han Lin, Gautham Chinya, Yongqiang Cao, Sri Harsha Choday, Georgios Dimou, et al. 2018. “Loihi: A Neuromorphic Manycore Processor with On-Chip Learning.” IEEE Micro 38 (1): 82–99.

9. DeBole, Michael V., Brian Taba, Arnon Amir, Filipp Akopyan, Alexander Andreopoulos, William P. Risk, Jeff Kusnitz, et al. 2019. “TrueNorth: Accelerating From Zero to 64 Million Neurons in 10 Years.” Computer 52 (5): 20–29.

10. Dobrunz, L. E., and C. F. Stevens. 1997. “Heterogeneity of Release Probability, Facilitation, and Depletion at Central Synapses.” Neuron 18 (6): 995–1008.

11. Gupta, Agrim, Silvio Savarese, Surya Ganguli, and Li Fei-Fei. 2021. “Embodied Intelligence via Learning and Evolution.” Nature Communications 12 (1): 5721.

12. Hassabis, Demis, Dharshan Kumaran, Christopher Summerfield, and Matthew Botvinick. 2017.“Neuroscience-Inspired Artificial Intelligence.” Neuron 95 (2): 245–58.

13. Huang, Sandy, Nicolas Papernot, Ian Goodfellow, Yan Duan, and Pieter Abbeel. 2017. “Adversarial Attacks on Neural Network Policies.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/1702.02284.

14. Hubel, D. H., and T. N. Wiesel. 1962. “Receptive Fields, Binocular Interaction and Functional Architecture in the Cat’s Visual Cortex.” The Journal of Physiology. https://doi.org/10.1113/jphysiol.1962.sp006837.

15. Itti, L., C. Koch, and E. Niebur. 1998. “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.” IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (11): 1254–59.

16. Kosoy, Eliza, Adrian Liu, Jasmine L. Collins, David Chan, Jessica B. Hamrick, Nan Rosemary Ke, Sandy Huang, Bryanna Kaufmann, John Canny, and Alison Gopnik. 11--13 Apr 2022. “Learning Causal Overhypotheses through Exploration in Children and Computational Models.” In Proceedings of the First Conference on Causal Learning and Reasoning, edited by Bernhard Schölkopf, Caroline Uhler, and Kun Zhang, 177:390–406. Proceedings of Machine Learning Research. PMLR.

17. Koulakov, Alexei, Sergey Shuvaev, Divyansha Lachi, and Anthony Zador. 2022. “Encoding Innate Ability through a Genomic Bottleneck.” bioRxiv. https://doi.org/10.1101/2021.03.16.435261.

18. Larochelle, Hugo, and Geoffrey Hinton. 2010. “Learning to Combine Foveal Glimpses with a Third-Order Boltzmann Machine.” Advances in Neural Information Processing Systems 23. https://proceedings.neurips.cc/paper/2010/hash/677e09724f0e2df9b6c000b75b5da10d-Abstract.html .

19. LeCun, Yann, and Yoshua Bengio. 1995. “Convolutional Networks for Images, Speech, and Time Series.” The Handbook of Brain Theory and Neural 3361 (10). http://www.iro.umontreal.ca/~lisa/pointeurs/handbook-convo.pdf.

20. Lennie, Peter. 2003. “The Cost of Cortical Computation.” Current Biology: CB 13 (6): 493–97.

21. Lilienthal, Otto. 1911. Birdflight as the Basis of Aviation: A Contribution Towards a System of Aviation, Compiled from the Results of Numerous Experiments Made by O. and G. Lilienthal. Longmans, Green.

22. Liu, Siqi, Guy Lever, Zhe Wang, Josh Merel, S. M. Ali Eslami, Daniel Hennes, Wojciech M. Czarnecki, et al. 2021. “From Motor Control to Team Play in Simulated Humanoid Football.” arXiv [cs.AI]. arXiv. http://arxiv.org/abs/2105.12196.

23. Ma, Wei Ji, Jeffrey M. Beck, Peter E. Latham, and Alexandre Pouget. 2006. “Bayesian Inference with Probabilistic Population Codes.” Nature Neuroscience 9 (11): 1432–38.

24. McCulloch, Warren S., and Walter Pitts. 1943. “A Logical Calculus of the Ideas Immanent in Nervous Activity.” The Bulletin of Mathematical Biophysics 5 (4): 115–33.

25. Merel, Josh, Diego Aldarondo, Jesse Marshall, Yuval Tassa, Greg Wayne, and Bence Ölveczky. 2019. “Deep Neuroethology of a Virtual Rodent.” arXiv [q-bio.NC]. arXiv. http://arxiv.org/abs/1911.09451.

26. Merel, Josh, Matthew Botvinick, and Greg Wayne. 2019. “Hierarchical Motor Control in Mammals and Machines.” Nature Communications 10 (1): 5489.

27. Mnih, Volodymyr, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, et al. 2015. “Human-Level Control through Deep Reinforcement Learning.” Nature 518 (7540): 529–33.

28. Moravec, Hans. 1988. Mind Children: The Future of Robot and Human Intelligence. Harvard University Press.

29. Patterson, David, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, and Jeff Dean. 2021. “Carbon Emissions and Large Neural Network Training.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2104.10350.

30. Pehlevan, Cengiz, and Dmitri B. Chklovskii. 2019. “Neuroscience-Inspired Online Unsupervised Learning Algorithms: Artificial Neural Networks.” IEEE Signal Processing Magazine 36 (6): 88–96.

31. Rescorla, R. A. 1972. “A Theory of Pavlovian Conditioning : Variations in the Effectiveness of Reinforcement and Nonreinforcement.” Current Research and Theory, 64–99.

32. Roy, Kaushik, Akhilesh Jaiswal, and Priyadarshini Panda. 2019. “Towards Spike-Based Machine Intelligence with Neuromorphic Computing.” Nature 575 (7784): 607–17.

33. Schultz, W., P. Dayan, and P. R. Montague. 1997. “A Neural Substrate of Prediction and Reward.” Science 275 (5306): 1593–99.

34. Sejnowski, Terrence. 2022. “Large Language Models and the Reverse Turing Test.” arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2207.14382.

35. Shyy, Wei, Yongsheng Lian, Jian Tang, Dragos Viieru, and Hao Liu. 2008. Aerodynamics of Low Reynolds Number Flyers.

36. Silver, David, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, et al. 2016. “Mastering the Game of Go with Deep Neural Networks and Tree Search.” Nature 529 (7587): 484–89.

37. Sinz, Fabian H., Xaq Pitkow, Jacob Reimer, Matthias Bethge, and Andreas S. Tolias. 2019. “Engineering a Less Artificial Intelligence.” Neuron 103 (6): 967–79.

38. Sokoloff, Louis. 1960. “The Metabolism of the Central Nervous System in Vivo.” Handbook of Physiology, Section I, Neurophysiology 3: 1843–64.

39. Stanley, Kenneth O., Jeff Clune, Joel Lehman, and Risto Miikkulainen. 2019. “Designing Neural Networks through Neuroevolution.” Nature Machine Intelligence 1 (1): 24–35.

40. Stöckl, Christoph, Dominik Lang, and Wolfgang Maass. 2022. “Structure Induces Computational Function in Networks with Diverse Types of Spiking Neurons.” bioRxiv. https://doi.org/10.1101/2021.05.18.444689.

41. Thorndike, L., and Darryl Bruce. 2017. Animal Intelligence: Experimental Studies. Routledge.

42. Turing, A. M. 1950. “I.—COMPUTING MACHINERY AND INTELLIGENCE.” Mind; a Quarterly Review of Psychology and Philosophy LIX (236): 433–60.

43. Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. “Attention Is All You Need.” Advances in Neural Information Processing Systems 30. https://proceedings.neurips.cc/paper/7181-attention-is-all-you-need.

44. Von Neumann, John. 2012. The Computer and the Brain. 3rd ed. Yale University Press. https://doi.org/10.12987/9780300188080.

45. Xu, K., J. Ba, R. Kiros, K. Cho, and A. Courville. 2015. “Show, Attend and Tell: Neural Image Caption Generation with Visual Attention.” International. https://proceedings.mlr.press/v37/xuc15.html.

46. Zador, Anthony M. 2019. “A Critique of Pure Learning and What Artificial Neural Networks Can Learn from Animal Brains.” Nature Communications 10 (1): 3770.

作者：Anthony Zador, Blake Richards, Bence Ölveczky等 

译者：赵凯 | 编辑：邓一雪

本文转载自“集智俱乐部”：

https://mp.weixin.qq.com/s/RF5o59RxFdQw6AavGU0iuw