NeuroAI 读书会启动：探索神经科学与人工智能的前沿交叉领域

导语 / Introduction

神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。

读书会线上进行，11月27日开始，每周日晚19:00-21:00，持续时间预计10周。读书会详情及参与方式见后文。

读书会背景

从历史上看，神经科学一直是人工智能进步的关键驱动力和灵感来源，尤其是在视觉、基于奖励的学习、与物理世界的互动以及语言等方面，人类和动物很擅长，来自神经科学的灵感让人工智能在这些领域大放异彩。反过来，人工智能也有效推动着神经科学的发展，帮助研究人员打破原有的以理论和假设为主导的研究范式，用模型和数据去构建从神经元到全脑的模型，从而实现模拟和预测。

NeuroAI作为神经科学和人工智能的交叉点，这一新兴领域基于一个前提：对神经计算的更好理解将揭示智能的基本成分，并催化人工智能的下一次革命，最终实现人工智能的能力与人类相匹配，甚至可能超过人类。

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，激发有志于加入NeuroAI这一领域的老师和同学们的研究兴趣，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域神经科学与人工智能的相关研究，对相关文献进行深入梳理，并针对研究一线中的实际困惑进行讨论，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。

读书会概览

本次读书会基于人类的认知层次，按照从低级到高级的顺序，依次研讨【视觉智能】、【语言智能】和【学习智能】三大模块。

模块一：视觉智能

这次以深度神经网络为标志的人工智能的浪潮起源于计算机视觉任务的探究，而人工智能的发展也同样反哺了视觉神经科学的发展。许多的研究发现深度神经网络提供了目前最好的模型，来解释视觉系统不同层级对于不同刺激的反应，但也有研究指出生物视觉系统与人工智能之间存在着本质的差异，更有批评者认为用机制尚且不清楚的深度神经网络来理解神经系统中的视觉系统，本质上就是利用一个黑箱去代替另外一个黑箱。但无论怎么说，二者之间的相互发展，相互启迪是学科交叉的一个典范。在这一模块的分享中，主要从视觉系统能否给神经网络算法带来什么样的启迪以及神经网络算法能否帮我们理解神经元对于视觉信息的神经编码两个方面去探究生物神经系统和人工神经网络在复杂信息处理上的异同。

模块二：语言智能

作为人类特有的高级认知功能，语言是我们思考和交流最重要的工具。通过语言，知识和信息能够穿越时空在人类社会延续、传递和扩展，构建能够像人一样理解和生成语言的机器可能会是实现通用人工智能最重要的里程碑。受益于深度学习的蓬勃发展，大规模自监督预训练语言模型（BERT，GPT3）为自然语言处理领域带来了革命性的进步，从过去令人啼笑皆非的机器翻译，到如今能够以假乱真的由机器生成的新闻报道，当前的语言模型（DALL-E）甚至能够融合多模态信息，根据文字生成与之相符的图片。但是，这些在越来越多方面具备“媲美人类语言能力”的神经网络模型是否真的像人一样“理解”和“生成”语言？他们能否帮助我们理解人脑是如何加工语言，能否实现从神经活动中解码人的所思所想？在这一模块的分享中，我们将聚焦语言，探讨基于深度学习的语言模型和人脑对语言的表征与加工。

模块三：学习智能

从心理学的角度看，人类智能在最大化未来的奖赏收益，最小化未来的损失这一原则下，通过与外界环境交互产生。强化学习模型（RL，Reinforcement Learning）提供了一个很好的框架去描述与解释学习、决策等人类行为。这个模块的分享，我们主要从强化学习的角度去建模人类行为，并试图探究在神经元层面对应的计算过程。进一步地，也会探讨对人类前额叶进行建模的元学习模型，和基于模型的（认知地图）的灵活推断。

读书会各模块安排如下：

发起人团队介绍

柳昀哲

2016年于北京师范大学获得硕士学位，2020年于伦敦大学学院获得博士学位，2020年-2021年在牛津大学从事博士后研究。2021年至今任认知神经科学与学习国家重点实验室&北京脑科学与类脑研究中心研究员。

柳昀哲实验室致力于解析人类高级智能行为的计算和神经机制（目前主要关注认知地图的形成和发展）和开发新型的神经编解码模型和脑机接口，为脑疾病和精神疾病的诊疗与调控提供新的手段。

鲍平磊

鲍平磊，2003年于中国科学技术大学获得理学学士学位，2014年于南加州大学获得博士学位，2014年-2020年在加州理工学院从事博士后研究。2020年11月至今任北京大学心理与认知科学学院研究员、麦戈文脑研究所研究员、北京大学-清华大学生命科学联合中心研究员。

鲍平磊实验室致力于高级视觉功能认知的神经机制探索，采用电生理，脑功能成像，微电刺激以及心理物理的方法等多种研究手段对于人和非人灵长类的视觉系统进行多层面的研究，并结合深度学习网络等多种手段去构建视知觉的数学模型。

吕柄江

2011年于大连理工大学获得学士学位，2017年于北京大学获得博士学位，2017年-2021年在英国剑桥大学从事博士后研究，2021年11月至今任昌平实验室研究员。

目前主要开展基于多模态脑成像技术的神经解码研究工作。

分享预告

在此次读书会的前三期，我们将分别邀请此次读书会的三位发起人老师，分别就人工智能在视觉、语言与学习领域的应用与发展进行主题分享。

第一期（鲍平磊）：

殊途同归：生物视觉与人工视觉

第二期（吕柄江）：

神经网络和人脑中的语言表征与加工

第三期（柳昀哲）：

神经活动重现和符号计算

报名参与读书会

本次读书会适合的参与对象

• 基于神经科学与人工智能相关学科研究，对NeuroAI，特别是NeuroAI研究中的模型、方法有浓厚兴趣的一线科研工作者；

• 能基于读书会所列主题和文献进行深入探讨，可提供适合的文献和主题的朋友；

• 能熟练阅读英文文献，并对复杂科学充满激情，对世界的本质充满好奇的探索者；
  

• 想锻炼自己科研能力或者有出国留学计划的高年级本科生及研究生。
  

本读书会谢绝参与的对象

为确保专业性和讨论的聚焦，本读书会谢绝脱离读书会文本和复杂科学问题本身的空泛的哲学和思辨式讨论；不提倡过度引申在社会、人文、管理、政治、经济等应用层面的讨论。我们将对参与人员进行筛选，如果出现讨论内容不符合要求、经提醒无效者，会被移除群聊并对未参与部分退费。一切解释权归集智俱乐部所有。

运行模式

本季读书会涉及【视觉智能】、【语言智能】、【学习智能】3个模块，按暂定框架贯次展开；

每周进行线上会议，由1-2名读书会成员以PPT讲解的形式领读相关论文，与会者可以广泛参与讨论，会后可以获得视频回放持续学习。

举办时间

从2022年11月27日开始，每周日晚上19:00-21:00，持续时间预计10周。我们也会对每次分享的内容进行录制，剪辑后发布在集智斑图网站上，供读书会成员回看，因此报名的成员可以根据自己的时间自由安排学习时间。

参与方式

此次读书会为线上闭门读书会，采用的会议软件是腾讯会议（请提前下载安装）。在扫码完成报名并添加负责人微信后，负责人会将您拉入交流社区（微信群），入群后告知具体的会议号码。

报名方式

第一步：扫码填写报名信息。

△ 扫描上方二维码报名

第二步：填写信息后，付费299元。支付方式可选微信、支付宝两种。如需用支付宝支付，请在PC端进入读书会页面报名支付：

https://pattern.swarma.org/study_group/21

第三步：添加负责人微信，拉入对应主题的读书会社区（微信群）。

本读书会可开发票，请联系相关负责人沟通详情。

针对学生的退费机制

读书会通过共学共研的机制，围绕前沿主题进行内容梳理和沉淀，所以针对于学生，可以通过参与共创任务，获取积分，积分达到退费标准之后，可以直接退费。

加入社区后可以获得的资源

• 在线会议室沉浸式讨论：与主讲人即时讨论交流；

• 交互式播放器高效回看：快速定位主讲人提到的术语、论文、大纲、讨论等重要时间点；

• 高质量的主题微信社群：硕博比例超过80%的成员微信社区，闭门夜谈和交流；
  

• 超多学习资源随手可得：从不同尺度记录主题下的路径、词条、前沿解读、算法、学者等；
  

• 参与社区内容共创任务：读书会笔记、百科词条、公众号文章、论文解读分享等不同难度共创任务，在学习中贡献，在付出中收获；
  

• 共享追踪主题前沿进展：在群内和公众号分享最新进展，领域论文速递
  

参与共创任务，共建学术社区：

（1）读书会笔记：在交互式播放器上记录术语和参考文献

（2）集智百科词条：围绕读书会主题中重要且前沿的知识概念梳理成词条。例如：

（3）论文解读分享：认领待读列表中的论文，以主题报告的形式在社区分享

（4）论文摘要翻译：翻译社区推荐论文中的摘要和图注

（5）公众号文章：以翻译整理或者原创生产形式生产公众号文章，以介绍前沿进展。例如：

• 论文翻译

• 科普论文翻译

• 讲座整理

PS：具体参与方式可以加入读书会后查看对应的共创任务列表，领取任务，与运营负责人沟通详情，上述规则的最终解释权归集智俱乐部所有。

读书会阅读材料

视觉智能

这篇文献利用深度学习网络来研究视觉系统的文章，是这一领域的开山之作。

[1] Yamins, Daniel LK, et al. "Performance-optimized hierarchical models predict neural responses in higher visual cortex." Proceedings of the national academy of sciences 111.23 (2014): 8619-8624.

这篇文献是发起人老师鲍平磊2020年的一项研究，利用深度网络对物体识别区域功能组织原则的探索。

[2] Bao, Pinglei, et al. "A map of object space in primate inferotemporal cortex." Nature 583.7814 (2020): 103-108.

这篇文献研究说明无监督的深度神经网络也可以用来对腹侧视觉通路建模。

[3] Zhuang, Chengxu, et al. "Unsupervised neural network models of the ventral visual stream." Proceedings of the National Academy of Sciences 118.3 (2021): e2014196118.

这篇文献研究发现前馈网络可能并不足够描述腹侧通路，可能还需要循环神经网络。

[4] Kar, Kohitij, et al. "Evidence that recurrent circuits are critical to the ventral stream’s execution of core object recognition behavior." Nature neuroscience 22.6 (2019): 974-983.

这篇文献使用深度生成网络进化的神经元图像揭示了视觉编码原理和神经元偏好。

[5] Ponce, C. R., Xiao, W., Schade, P. F., Hartmann, T. S., Kreiman, G., & Livingstone, M. S. (2019). Evolving images for visual neurons using a deep generative network reveals coding principles and neuronal preferences. Cell, 177(4), 999-1009.

语言智能

这篇文献是早期将神经网络应用于语言的经典工作。仅仅通过预测下一个字的训练任务，RNN模型能够获得对不同词类和语境信息的特异表征。

[1] Elman, J. H (1990). “Finding structure in time.” Cognitive Science 14: 179-211.

这两篇文献报告了在当前的大规模自监督预训练语言模型中提取关于语言结构的句法表征。

[2] Hewitt, J. and Manning, C. D.  (2019). “A structural probe for finding syntax in word representations.” Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers).

[3] Manning, C. D., et al. (2020). "Emergent linguistic structure in artificial neural networks trained by self-supervision." Proc Natl Acad Sci U S A 117(48): 30046-30054.

这两篇文献综述了深度学习语言模型对句法和语义的表征和加工。

[4] Linzen, T. and Baroni, M.  (2021). "Syntactic Structure from Deep Learning." Annual Review of Linguistics 7(1): 195-212.

[5] Pavlick, E-J (2022). "Semantic Structure in Deep Learning." Annual Review of Linguistics 8(1): 447-471.

这三篇文献从多个方面比较了从多模态脑影像数据中提取的人类语言表征与预训练语言模型的语言表征，发现能够更好地完成“预测下一个字”的语言模型，也能更好地拟合大脑进行语言加工的神经活动。

[6] Schrimpf, M., et al. (2021). "The neural architecture of language: Integrative modeling converges on predictive processing." Proc Natl Acad Sci U S A 118(45): e2105646118.

[7] Goldstein, A., et al. (2022). "Shared computational principles for language processing in humans and deep language models." Nature neuroscience 25 3: 369-380.

[8] Caucheteux, C. and King, J. R.  (2022). "Brains and algorithms partially converge in natural language processing." Communications Biology 5.

这两篇文献通过神经网络模型直接从大脑的神经活动中解码受试者想说的话。

[9] Moses, D. A., Metzger, S. L., Liu, J. R., Anumanchipalli, G. K., Makin, J. G., Sun, P. F., ... & Chang, E. F. (2021). Neuroprosthesis for decoding speech in a paralyzed person with anarthria. New England Journal of Medicine, 385(3), 217-227.

（中文翻译：https://nejmqianyan.cn/article-info?permalinks=YXQYoa2027540&sg=AbW1NGsHw3NxPd6F）

[10] Anumanchipalli, G. K., Chartier, J., & Chang, E. F. (2019). Speech synthesis from neural decoding of spoken sentences. Nature, 568(7753), 493-498.

学习智能

这篇文献是第一篇 DeepRL，展现了结合深度学习网络的表征能力和强化学习算法的灵活学习能力后的潜力，其中experience replay的运用在分离当前经验对学习的作用上非常关键。

[1] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., ... & Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529-533.

这篇文献基于强化学习理论，给出了replay的计算模型，normative model，这个model可以解释很多老鼠身上replay的现象。

[2] Mattar, M. G., & Daw, N. D. (2018). Prioritized memory access explains planning and hippocampal replay. Nature neuroscience, 21(11), 1609-1617.

这篇文献同时从算法和神经层面提出了表征式强化学习的机制，简单而言，即不同 neuron 编码不同的value，所有neuron一起编码了value的分布——这种表征可以极大地提高人工智能体的performance，也是生物体多巴胺神经元的表征机制。

[3] Lowet, Adam S., et al. "Distributional reinforcement learning in the brain." Trends in Neurosciences 43.12 (2020): 980-997.

这篇文献通过区别 slow learning 和 fast learning, 提出meta learning system 可以作为前额叶的计算机理的研究框架 - 对解决 learning to learn 等泛化问题，提供了新的解决思路。

[4] Wang, J. X., Kurth-Nelson, Z., Kumaran, D., Tirumala, D., Soyer, H., Leibo, J. Z., ... & Botvinick, M. (2018). Prefrontal cortex as a meta-reinforcement learning system. Nature neuroscience, 21(6), 860-868.

这篇文献是发表在Cell上的一篇关于机器学习模型揭示大脑怎样整合空间记忆与关系记忆的文章（点击查看解读文章）。

[5] Whittington, J. C., Muller, T. H., Mark, S., Chen, G., Barry, C., Burgess, N., & Behrens, T. E. (2020). The Tolman-Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation. Cell, 183(5), 1249-1263.

这篇文献基于海马-内嗅皮层的架构和学习机理，提出了学习和泛化的计算模型，将目前预训练语言模型Transformer架构的表征方式与人类海马体的表征方式在数学上进行关联比较，为解释Transformer的biological plausibility提供崭新视角。

[6] Whittington, J. C., Warren, J., & Behrens, T. E. (2021). Relating transformers to models and neural representations of the hippocampal formation. International Conference on Learning Representations (ICLR).

这篇文献提出一种类似于HMM的海马计算模型，相对于TEM，其好处是更快的学习；坏处是难以分析结构泛化的机制和神经表征。

[7] George, D., Rikhye, R. V., Gothoskar, N., Guntupalli, J. S., Dedieu, A., & Lázaro-Gredilla, M. (2021). Clone-structured graph representations enable flexible learning and vicarious evaluation of cognitive maps. Nature communications, 12(1), 1-17.

关于主办方和集智俱乐部读书会

主办方：集智俱乐部

协办方：集智学园、神经现实

集智俱乐部成立于2003年，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的“没有围墙的研究所”。

集智学园成立于2016年，是集智俱乐部孕育的创业团队。集智学园致力于传播复杂性科学、人工智能等前沿知识和新兴技术，促进、推动复杂科学领域的知识探索与生态构建。

神经现实成立于2016年，专注于神经科学、认知科学和精神病学等领域的深度报道和前沿解读。神经现实正在积极促进公众理解/参与科学这一目标，并致力于推动学界的跨学科融合，旨在为脑科学的知识普及和行业发展添砖加瓦。目前，神经现实在全球拥有超过300余名志愿者参与内容制作，全网订阅读者超过60万，并多次入选虎嗅网、科研圈等媒体机构评选的年度自媒体榜单。

集智俱乐部读书会是面向广大科研工作者的系列论文研读活动，其目的是共同深入学习探讨某个科学议题，了解前沿进展，激发科研灵感，促进科研合作，降低科研门槛。

读书会活动始于2008年，至今已经有50余个主题，内容涵盖复杂系统、人工智能、脑与意识、生命科学、因果科学、高阶网络等。凝聚了众多优秀科研工作者，促进了科研合作发表论文，孵化了许多科研产品。如：2013年的“深度学习”读书会孕育了彩云天气APP，2015年的“集体注意力流”读书会产生了众包书籍《走近2050》，2020年的开始因果科学读书会孕育了全国最大的因果科学社区等。

加入集智VIP，即可解锁包括集智学园的全站课程、读书会。详见：

▽ | 点击“阅读原文”，报名读书会