其他
Yoshua Bengio领衔跨学科团队，Nature刊文综述人工智能时代的科学发现
导语
人工智能（AI）正越来越多地融入科学发现（Scientific Discovery）中，以增强和加速研究，帮助科学家生成假设、设计实验、收集和解释大规模数据，并获得传统科学无法获得的洞见。Nature杂志在8月2日上线了由计算机科学家Yoshua Bengio领衔的合作团队的综述文章，以前瞻视角探讨人工智能时代的科学发现。这篇论文审视了过去十年的人工智能技术突破，包括自监督学习（使模型能够在大量未标记的数据上进行训练）、几何深度学习（利用对科学数据结构的知识来提高模型的准确性和效率）、生成式AI方法（通过分析包括图像和序列在内的多样数据源来创建设计，例如小分子药物和蛋白质）。文章讨论了这些方法如何在整个科学过程中帮助科学家，以及在进展之外仍存在的核心问题。无论是AI工具的开发者还是使用者，都需要更好地了解何时需要改进这些方法，并且直面数据质量和管理所带来的挑战。这些问题涉及各个科学领域，并需要发展基础算法方法，以促进科学理解或自主获取科学理解，使其成为人工智能创新的关键领域。综述作者之一、斯坦福博士后王瀚宸撰写了这篇笔记文章，介绍综述所涉及的一系列观点。
王瀚宸 | 作者
论文题目：Scientific discovery in the age of artificial intelligence论文地址：https://www.nature.com/articles/s41586-023-06221-2
Science is about making new discoveries
Science is about making new discoveries
在这篇14页的文章中，我们主要关注AI如何助力科学发现，不论是牛顿的万有引力定律、爱因斯坦的相对论、哥白尼的日心说、弗莱明对青霉素的发现，还是运用计算机模拟蛋白质折叠，都代表着新的规则和现象的发现。因此，“AI for Science”的核心可以说就是“借助AI推动科学发现、科技进步”。这与汤老师观点并不冲突，无论是增强AI的预测能力，还是利用科学知识指导AI的发展，在科学领域最终都是为了实现“创造新的发现”这一终极目标。当然，如果有一天自然科学能够切实指导AI的发展，即“Science for AI”，那将会是另一件改变世界的事儿，因为AI的影响力远不止在自然科学，当然这不在本文的讨论范围之内。
这篇综述讲了啥
“AI for Science”的视角实在是太宏大了，我们在着眼大局的同时，也力求细致入微地描绘细节。为了丰富文章的内涵，我们几个核心成员可以说是精读了截止至2022年秋季的近十年来所有CNS及其子刊中与AI相关的文章。我们在早期集思广益构建了数个版本的框架和图表，在一年多的写作过程中，不断地内部讨论修改([1])。自23年1月份文章不经修改直接被原则上接受后，我们又与Reviewer和Editorial Team进行了两轮、长达四个多月的细致讨论和修改，最终定稿（事实证明修还是要修的）。接下来通过文章的四个图，我将简单介绍下这篇文章的主体，即我们对近些年“AI for Science”发展的观察和思考，以及讨论下未来需要解决的问题和挑战。对此感兴趣的朋友，强烈推荐阅读原文。
当然，Science杂志在7月中旬率先上了一个专注于AI+Science的特刊，其中包含一些优秀的观点和评论文章，它们大多关注在单个或少数几个学科的特定问题上，此外arXiv上也有一些或长或短的材料可供参考。但如果你只打算阅读一篇关于“AI for Science”的综述性文章的话，我推荐我们这篇：思考更深、视角更全、极度精炼，经过了Peer Review的捶打（其实Editor要求更改的地方更多）。此外，作者团队中有很多established scholars和rising stars，能把大家聚在一起讨论出我们都能接受的框架也挺磨人的。至于影响力，of course time will tell，有这份自信。
扯远了，回到文章本身。尽管科学实践和流程在不同学科中有所不同，我们还是可以将其大致划分为三个相互关联且有递进、循环关系的阶段：假设构建、实验设计以及数据收集与分析。在这个过程中，人工智能在每个阶段都在发光发热，重塑科学发现的过程。举几个具体的例子，如AI优化实验参数和功能，AU自动化数据收集、处理和可视化，AI大规模探索候选假设以形成理论、生成假设并估计其不确定性以改进相关实验…，都已经成为科研小将们的必备工具。图1列出了各个学科的一些具体例子，有关具体文章，可以在我们的原文中找到。
图1 | 这里用的自己画的最后一版(约摸着是总第六/七版)，最终用的是editorial team“润色”的版本。
图2-4我们具体阐述了在这三个阶段，AI在方法和应用上的一些共性，分别说下。
AI辅助的科研数据收集与整理AI-aided data collection and curation for scientific research
首先是数据。作为一切的出发点，AI在数据处理中可以干这么几件事儿，比如说:
• Selection. 一个典型的粒子碰撞实验每秒钟能产生超过100 TB的数据量，而其中超过99.99%的原始数据实际上是需要实时识别并舍弃的背景噪音，目的是为了保留那些稀有且含有有价值信息的数据。一种常见的处理策略是利用异常检测（Anomaly Detection）算法，将这些稀有事件视为异常数据进行识别并保存。这种思路在物理学、神经科学、地球科学、海洋学以及天文学等领域都得到了广泛的应用；
• Annotation. 训练有监督的模型需要依赖带有标签的数据集，然而对于生物学、医学等实验性学科来说，生成大量准确标签的数据集既耗时又耗力。伪标签法（Pseudo Labelling）和标签传播法（Label Propagation）因此成为了优秀的替代方案，它们允许在只有少量准确注释的大型无标签数据集上进行自动注释。此外，主动学习（Active Learning）可以帮助我们确定最有必要进行实验标注的数据点，从而进一步降低成本。另一种数据注解策略则是借助专业领域知识来制定标签规则，如Data Programming (NeurIPS '22) 和Snorkel (VLDB '17) 等；
• Generation. 通常来说，AI的性能随着训练数据集的质量、多样性和规模的提高而提高。通过自动数据增强（AutoAugment）和深度生成模型（Deep Generative AI）生成额外的合成数据点，以扩充训练数据集，是创建更好模型的一种有效方法。除了手动设计之外，强化学习方法（Reinforcement Learning）还可以发现一种自动数据增强的策略，这种策略既灵活又不依赖于下游任务。举例来说，生成对抗网络（Generative Adversatial Netowrk）已被证明对科学图像有益，它们可以在多个领域中生成逼真且有用的数据，从粒子碰撞事件、病理切片、胸部X光、磁共振对比、三维材料微结构、蛋白质功能到基因序列；
• Refinement. 高精度的仪器，如超高分辨率激光器和无创显微系统，可以直接或间接测量物理量，得到非常精确的结果。AI则能够进一步提高了测量分辨率，减少噪声，并减小测量精度的误差，使之具有一致性。具体例子比如黑洞成像、捕捉物理粒子碰撞、提高活细胞图像的分辨率，以及细胞类型检测。
Deep Learning能够在多层次上提取科学数据的meaningful representation，并优化这些表示以指导研究。好的Representation应该尽可能地保留数据的信息，同时simple, accessible, compact, discriminative, and disentangle。在文中，我们简单了介绍几种策略：几何深度学习（Geometric deep learning），自监督学习（Self-Supervised Learning），语言模型（Language Modelling）和神经算子（Neural Operators），此处就不赘述了。
基于AI的科学假设生成AI-based generation of scientific hypotheses
可验证的假设是科学发现的关键。这些假设有多种形式，从数学的符号表达式，到化学的分子，再到生物学的基因变异。构建有意义的假设通常是一项耗时费力的过程，正如约翰内斯·开普勒在分析星体和行星数据四年后才得出了一个导致发现行星运动定律的假设。AI在此过程的多个阶段都可以发挥作用。它们可以通过从噪声观测中识别出候选的符号表达式来生成假设。它们也能帮助设计物体，比如一个能与治疗目标结合的分子，或是一个可以推翻数学猜想的反例，这些都指向了实验室中的实验评估。此外，AI可以学习假设的贝叶斯后验分布，并利用这个分布生成与科学数据和知识相吻合的假设。我们在此简单总结了以下三点，具体内容没有在这里展开讲解，欢迎大家阅读原文深入了解。
• Black-box predictors of scientific hypotheses
• Navigating combinatorial hypothesis spaces
• Optimizing differentiable hypothesis spacesAI驱动的实验和模拟AI-driven experimentation and simulation
通过实验评估科学假设是科学发现的关键环节。然而，实验室实验可能成本高昂，操作复杂。计算机模拟已经成为一种具有前景的替代方案，为我们提供了更为有效和灵活的实验手段。虽然模拟需要依赖人工设置的参数和启发式策略来模仿现实世界的情况，并且需要在精度和速度之间做出权衡，这就需要理解底层的机制。随着AI的出现，这些挑战正在得到解决，我们可以通过识别和优化假设来进行有效的测试，并且可以利用计算机模拟将观察结果和假设联系起来。这里我们简要地总结了以下两点，具体细节就不展开了，欢迎大家阅读原文深入理解。
• Efficient evaluation of scientific hypotheses • Deducing observables from hypotheses using simulations
重大挑战Grand challenges
最后说下挑战和展望。这里我们简要地总结了以下三点，前两点很好理解，展开说说第三个。
• Practical considerations
• Algorithmic innovations
• Conduct of science and the scientific enterprise长远来看，自然科学中的AI需求将受到两种力量的驱动。
首先，有些问题正处在可以从AI的应用中受益的边缘，例如全自动化实验室。其次，AI工具有能力提升已有技术并创造新的机会，例如探究在实验中难以达到的长度和时间尺度上的生物、化学或物理过程。基于这两大动力，我们预见研究团队的构成将发生改变，以包括AI专家、软硬件工程师，以及涉及各级政府、教育机构和公司的新型合作方式。目前最先进的深度学习模型的规模正在不断扩大，这些模型的参数量达到了十亿甚至万亿级别，每年呈倍增态势，而满足这些模型的计算和数据需求非常巨大。因此，大型科技公司大量投资于计算基础设施和云服务，推动规模和效率的极限。虽然盈利和非学术组织拥有庞大的计算基础设施，但高等教育机构可以在多个学科中实现更好的整合。此外，学术机构往往拥有独特的历史数据库和测量技术，这些在其他地方可能无法获得，但对于AI for Science来说是必不可少的。这些互补性的资源促成了新型的产学合作模式的形成，这可能会影响研究问题的选择。
随着AI系统的表现越来越接近甚至超越人类，将其作为日常实验室工作的替代已变得切实可行。这种方法使研究人员能够迭代地从实验数据中开发预测模型，并选择实验以改进它们，而无需手动执行繁琐和重复的任务。为了支持这种范式转变，新的教育项目正在涌现，旨在培养科学家在科研中设计、实施并应用实验室自动化和AI。这些项目帮助科学家理解何时应适宜使用AI，并防止AI分析的误解，例如Hallucination。
AI工具的误用和对其结果的误解可能会带来重大的负面影响，而且这些风险的应用范围非常广泛。然而，AI的误用并非仅仅是一个技术问题，它还取决于那些引领AI创新和投资AI实施的人的动机。建立道德审查流程和负责任的实施策略是必不可少的，包括全面审视AI的范围和适用性。此外，必须考虑与AI相关的安全风险，因为将算法实现复用为双重用途已变得越来越简单。由于算法能适应广泛的应用，它们可以为一个目的而开发，但用于另一个目的，从而产生威胁和操纵的风险。这些都是亟需解决且影响深远的问题。
AI for Science值不值得研究？
AI for Science值不值得研究？
可以看这么两点：
1. 有没有搞头（天时）
毫无疑问，“AI for Science”的学术前景广阔。我们可以通过AlphaGo和AlphaFoldv2的对比来直观地看到这一点。AlphaGo于2016年在Nature上发表，至今已经有45万+的研究者阅读过这篇文章，引用次数达到了7600+；而AlphaFoldv2于2021年也在Nature上发表，至今已有118万+的研究者阅读过这篇文章，引用次数达到了8000+。仅从这些数字来看，AlphaFoldv2在学术界和科技界的影响力至少是AlphaGo的几倍。值得一提的是，AlphaGo曾引领了上一波的人工智能浪潮。
确实，从11年前由AlexNet和AlphaGo引发的AI热潮，到现在以ChatGPT等AI工具可能成为下一代计算平台的底层架构的观点，已经得到了越来越多人的认同。从这个角度看，“AI for Science”的影响可能会超过上世纪中后期把计算机引入自然科学的影响。Nature曾经评选出十个改变科学的计算机程序，这其中包括：
1.1957年，基于Fortran编译器的科学模拟程序被用于天气预报、航天轨道计算、材料性质计算等；
2.1965年，快速傅立叶变换被应用于天文测量；
3.1990年，BLAST序列搜索工具被广泛应用于基因研究；AI for Science将有可能引领另一次科学的巨变，这将是一个非常值得期待的未来。
Scaffolded LLMs as natural language computers www.beren.io/2023-04-11-Scaffolded-LLMs-natural-language-computers/Ten computer codes that transformed science www.nature.com/articles/d41586-021-00075-2
2010年代第三波AI浪潮的标志性事件之一：Deep Learning三巨头发表在Nature上的综述
AI for Science无疑具有广阔的商业化应用和成果转化的潜力。例如，在材料研发、基因编辑/筛选/设计、天气预报、核聚变反应控制以及农业收成预测等领域，AI都有可能实现革新性的创新。这种创新不仅能产生经济效益，而且可以真正提升人类社会的福祉。当然，这些应用的商业模型和技术还面临着许多需要突破的挑战。值得注意的是，国家科技部、美国能源部以及微软等科技巨头也都表明了对AI for Science的高度关注，并对此有相关的政策支持和倾斜。
Microsoft Research AI4Sciencewww.microsoft.com/en-us/research/lab/microsoft-research-ai4science/科技部启动「人工智能驱动的科学研究」专项部署工作，释放了哪些信号？https://www.zhihu.com/question/592157178AI for Science: Report on the Department of Energy (DOE) Town Halls on Artificial Intelligence (AI) for Science (Technical Report)www.osti.gov/biblio/1604756
2. “能不能做好” (地利人和)
我们都知道英伟达作为这波AI浪潮的挖井人赚得盆满钵满，但并不意味着我们每个人也能去造显卡、赚大钱。同理，AI for Science虽然大势很好，但门槛也很高，能不能吃好这碗饭因人而异。
首先来讲doing AI和doing Science的技能树和脑回路是不太一样的。我自己是高一报送的物理本科，之后博士在工程系读的是机器学习，对这两者的差异体会很深。简单来说，Science一直很讲究Taste和Intuition，这主要反正在“找问题”的能力上；而现在的AI更偏向于工程。当然二者也有相通之处，很多杰出的研究工作都以解决某个重要问题为核心，而单纯在已经定义好的评价体系下（比如我导师做的Open Graph Benchmark）进行技术优化往往并不是最重要的，除非你能做到像AF2那样一骑绝尘。找到“金矿”和定义何为“金矿”的能力，常常比快速有效地挖矿更为重要。
其次需要优秀的科学直觉和极致的工程能力的完美结合。科学直觉的重要性自不必多说，工程能力其实也非常重要。很多研究项目或初创公司的想法和故事并不新奇，但如何将其执行到极致，不同的个体和团队是云泥之别 ([2])。当然平台和资源也都非常重要，这点相信大家应该体会都很深，这些都是与能力相辅相成的。
最后我们来谈成本，简单说说个人职业发展方面的。
• 首先读CS/AI PhD就是一个成本很大的事情，此外单从学术方向而言，AI for Science的Top Researcher需要Top Conference和Top Journal两手抓 (e.g., Brian Hie, James Zou, Marinka Zitnik)([3])，这两者的投审稿风格也很不同，有机会细讲；
• 其次AI for Science这个方向在大厂里并不是很受待见，比如Meta的蛋白质组，CNS咔咔发、工作确实不错，但是从个人职业晋升角度来说并不吃香，因为公司、stackholders看不到回头钱，团队带头人Alex也回到学界了；
• 此外，AI for Science对于其他职业路径比如Quant，也并没有太大的帮助或被普遍认可。（虽然也时不时收到hr和猎头的reach out，不过主要是跟我之前做过点儿Quant有关）
张焕晨：读博，你真的想好了吗？https://zhuanlan.zhihu.com/p/372884253大学教授的生活是什么样的呢？https://www.zhihu.com/question/58470970/answer/2364977070
所以其实AI for Science的Researcher，比较适合在各类Science都很强的Top University自己支个摊儿、在Local Community多合作、与业界大牛搞好关系，遇到合适的机会再搞搞Startups。当然公司要追求Profit而不是Science、投资人的钱也不是大风刮来的。想要同时做到这几点难度很大，聪明才智大家都有，但更需要兴趣驱动且个人ego要极强、喜欢追求上界、多次自我颠覆。其他职业路径比如大厂Scientist、Quant、搞投资之类的，对于Top Talents的机会总是很多。当然AI各领域能留在顶级名校当老师的年轻一代，每一位都放弃了非常多的机会，给他们点赞 ，也希望自己几年后、而立之年左右成为他们中的一员 :)
总的来说，AI for Science的想象力空间巨大、发展势头刚起，但是否要躬身入局，还是要结合自身情况，量力而行。总之踏实做事、忠厚待人、广结善缘，生活总不会太差，与君共勉。
写在文章发表后
从我个人21年下半年开始推动直到文章最终发表出来，历时近两年，波折很多，很磨炼心气儿。但哪篇CNS或者大子刊的背后没有“故事”呢，这也不是我第一篇/故事，把事儿做成最重要。有点可惜的是，因为定稿于年初，近期的一些很好的工作（比如华为的盘古天气预报模型）没有包括进来，当然这也说明了领域发展日新月异。有篇Nature是好事儿，不过说破天也就是篇综述，要做出领域内impacts主要还是凭靠原创性的工作，survey这种东西写一篇就够了，在精不在多。通常我们评价一个Micro/Junior PI的能力，主要是看他/她作为lead author (first/last) 发了哪些paper、拿了哪些funding、有哪些大佬愿意真的挺你、公司搞得如何、与policy maker们的关系有多铁，其他都是虚的（一家之言）。未来准备还是小范围核心团队圈子多搞事情，不结恶缘。最后感谢下师姐、哈佛医学院教授Marinka Zitnik，领着我们一起把这个作品呈现给大家，没有她这事儿也成不了([4])，这也都是我们彼此的第一篇CNS（作为一作or通讯，不比Aviv能做到年均5+篇CNS通讯），希望自己之后的CNS投稿能够再多些顺意。也谢谢成文期间参与讨论、给与指导的朋友和同事，钟源博士、Demis Hassabis博士等。
欢迎在评论区分享你的看法，也希望多多阅读、分享、引用这篇文章，咱们一起把蛋糕 做大。我的主页：HanchenW.com和Twitter，下半年会放出一些自己近期做的、很喜欢很有意思的原创性工作，时间充裕的话也会写点儿文字介绍下，希望也都能end up well。如果你也在Stanford / Genentech，欢迎勾搭，Jure和Aviv在学界业界政界的地位和资源不必多言，相信你也不差，一起做大事!
学者简介
王瀚宸现任斯坦福计算机科学系与基因泰克新药研发部门联合博后研究员, 师从Jure Leskovec教授和Aviv Regev院士。他作为第一作者在Nature、Nature Machine Intelligence、NeurIPS等期刊和会议上发表文章，也在ICML、NeurIPS、 ICLR上举办过一些与AI for Science相关的研讨会。他高一时从苏州中学保送至南京大学匡亚明学院物理系本科(2014-2018)，师从王欣然教授。之后他在剑桥大学攻读并获得机器学习博士学位(2019-2022)，师从三一学院院士Joan Lasenby教授。他在互联网行业、金融行业和生物科技行业的公司都待过。
个人主页：https://www.hanchenw.com
转载自作者知乎：https://zhuanlan.zhihu.com/p/642293473 封面图片来源：TechCrunch+
大模型与生命医学：
AI + Science第二季读书会启动
集智俱乐部联合西湖大学助理教授吴泰霖、斯坦福大学计算机科学系博士后研究员王瀚宸、博士研究生黄柯鑫、黄倩，华盛顿大学博士研究生屠鑫明，共同发起以“大模型与生物医学”为主题的读书会，共学共研相关文献，探讨基础模型在生物医学等科学领域的应用、影响和展望。读书会从2023年8月13日开始，每周日早上 9:00-11:00 线上举行，持续时间预计8周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。
详情请见：
推荐阅读