NAT METHODS｜AIMe注册表：生物医学研究中AI模型的报告平台
摘要
克服生物医学中AI的报告缺陷
在过去的二十年里，产生大量生物医学数据的高通量技术取得了巨大进步，成本也迅速下降。这一发展伴随着人工智能（AI）领域的突破。在人工智能的帮助下，现在可以以一种数学上稳健和准确的方式对高维数据进行建模，这推动了AI在生物医学研究中的众多应用。例如，人工智能已被成功用于确定低温电子显微镜投影图像中的颗粒，从质谱数据中推断蛋白质，对单细胞数据进行探索性分析，以及预测重症监护室中起初的循环衰竭。
尽管人工智能在生物医学研究中具有明显的潜力，但我们观察到一些趋势，这些趋势不利于开发新的、改进的人工智能方法，也是在基础或转化生物医学研究中应用生物医学AI的主要障碍。机器学习的最佳实践并不总是被遵守，人们往往只报告人工智能模型被选择的那些方面和对它们的评估。正因为如此，生物医学人工智能的决定往往是不透明的，难以解释，也不完全可重复。特别是在临床研究中，建立对人工智能模型的信任，并以明确和透明的方式报告它们，遵守常用的标准是至关重要的。或者，正如Davenport等人所说："若要得到广泛采用，人工智能系统必须得到监管机构的批准和足够程度的标准化"。
为了解决这个问题，最近一些报告生物医学和临床研究中人工智能方法和结果的检查清单和指南被提出来。然而，这只是解决报告缺陷的第一步，因为仅仅是指南和检查清单并不能使科学界获得生物医学AI的报告。此外，指南和检查清单没有提供实际的手段来识别不遵守方法（推荐的最佳方法）的生物医学AI。我们认为，现在需要的是一个社区驱动的注册表，使新的生物医学AI的作者能够轻松地生成可访问的、可浏览的和可引用的报告，从而使科学界能够仔细检查和审查。
有鉴于此，我们提出了生物医学研究中人工智能的AIMe注册表：https://aime-registry.org。它包括一个用户友好的网络服务，通过AIMe标准（一个通用的最小限度的信息标准，允许报告任何生物医学人工智能系统）引导新的人工智能的作者。一旦报告给了AIMe，就会创建一个数据库条目和一个HTML报告，以及一个独特的AIMe标识符。后者用于保持条目的开放性，并可由作者传播，例如纳入文稿中。
我们将AIMe注册表设计成一个社区驱动的生物医学AI平台。如果用户对现有条目的充分性或信息量有疑问，它允许用户提出与之相关的问题。此外，我们将根据科学界的反馈，每年更新报告的AIMe标准。有兴趣的研究人员将被邀请加入AIMe指导委员会，该委员会将反馈意见整合为AIMe标准的更新版本。
AIMe2021标准
在此，我们介绍AIMe标准的第一个版本，即AIMe2021标准。为了设计AIMe2021标准，我们采取了以下措施：第一步，由慕尼黑工业大学实验生物信息学担任主席、汉堡大学和南丹麦大学数学与计算机科学系的合作者组成最初的AIMe指导委员会，编写了AIMe2021标准草案。然后，我们通过社交媒体和邮件列表分享了征稿启事，其中我们要求感兴趣的研究人员提供反馈并加入AIMe指导委员会。本文的所有其他合作者都响应了这一呼吁。最后，我们通过本文第一位和最后一位作者协调合作文件编辑工作，将反馈意见整合到AIMe2021标准中。
AIMe2021标准分为五个部分。元数据、目的、数据、方法和重现性。
AIMe2021标准的正式YAML（一个可读性高，用来表达数据序列化的格式）规范见 https://aime-registry.org/specification/。AIMe报告的例子见https://aime-registry.org/database/。
元数据
AIMe标准要求生物医学AI的作者报告其方法的基本元数据（补充图1）。在第一组问题中，作者被要求提供关于论文和相应作者的元数据（MD.1-MD.6）。他们还应该披露资金来源（MD.7），并说明在搜索AIMe数据库时该条目是否应该出现在结果中（MD.8）。如果报告的人工智能尚未发表，可暂时将报告从搜索中排除。然而，所有创建的报告总是可以通过其独特的AIMe标识符公开访问，一旦加入论文ID或URL，就会自动成为可搜索对象（MD.4）。此外，作者可以上传他们可能填写的其他检查表或报告（MD.9）（例如，MI-CLAIM检查表）。
目的
在这一部分中，作者被要求详细说明他们的生物医学人工智能的目的（补充图2）。他们应该说明他们的人工智能是为了学习或预测什么（P.1），以及是否预测替代标志物而不是直接可测量的反应变量（P.2）。此外，AIMe还要求作者指明其人工智能问题所属的类别（P.3）。典型的类别包括分类（为所有项目分配离散的标签）、回归（为所有项目预测一个实值的数字）、聚类（将一组项目划分为同质组的子集）、排序（为一组项目学习一个排序）、降维（压缩所有项目的初始高维表示）和数据生成。
数据
在生物医学研究中，通常的做法是在同一管道中包含多个数据集，以获得对复杂生物过程的洞察力。因此，AIMe标准要求新人工智能的作者分别添加所采用的每个数据集，然后从数据的可用性、可能的偏差和应用的转换方面来描述它（补充图3）。
对于每个数据集x，作者应该报告数据的类型（D.x.1）。例如，表达、甲基化或表型数据。例如，如果一个人工智能模型使用基因表达数据来预测体重指数（BMI），那么作者应该为BMI数据添加一个数据集，为表达数据添加一个单独的数据集。由于生物医学人工智能问题通常没有黄金标准的数据，新的人工智能通常在模拟数据上进行评估。有鉴于此，AIMe要求作者说明其数据是真实的还是模拟的（D.x.2）。此外，作者应报告数据集是否公开可用（D.x.3），并说明它是否用于训练人工智能方法（D.x.4）。
生物医学数据经常受到各种偏见的影响。即使这些偏见可以得到适当的解决，读者也应该意识到这些偏见，以避免可能的误解。因此，AIMe询问作者是否检查过他们的数据是否存在偏见，如果是，又是如何检查的（D.x.5）。AIMe还要求作者报告他们数据的维度，即说明样本和特征的数量（D.x.6）。这一点尤其重要，因为高维数据往往表现出多线性和稀疏性，而这又往往会对人工智能系统的效率产生负面影响，并经常导致过度拟合。由于大多数人工智能方法都不是尺度不变的，数据通常需要在预处理过程中进行归一化处理。因此，AIMe询问作者是否对他们的数据进行了预处理，如果是的话，如何进行预处理（D.x.7）。
方法
接下来的一系列问题涉及具体的人工智能方法（补充图4）。AIMe在这方面问的第一个问题是使用了哪些人工智能或数学方法（例如，逻辑回归、随机森林分类、深度神经网络、蚁群优化、遗传编程）（M.1）。接下来，作者必须说明他们是如何选择方法的超参数（例如，随机森林模型中的树的数量）（M.2）。这一点很重要，因为超参数通常对方法的性能有很大的影响，但在出版物中往往没有报告。
AIMe标准还包含与所使用的人工智能方法的验证和核实有关的问题。最初的问题是询问哪些测试指标（如基尼系数、运行时间、平均误差平方）被用来评估该方法（M.3）。之后，作者被要求报告他们是如何防止过度拟合的，即他们如何确保他们的人工智能模型不只是记忆训练数据，而是能够泛化到未见过的独立数据（M.4）。可以通过使用各种技术，如集合学习、交叉验证和正则化来防止过度拟合。
此外，AIMe要求作者说明他们是否检查过是否有诱发他们的方法无法完成任务的触发情况（M.5）。一个可能的触发情况是混杂因素的存在：即影响模型输入和输出变量的变量，因此可能会扭曲结果。作者还需要报告他们是否检查了人工智能中的随机步骤是否影响结果的稳定性（M.6）。此外，他们还应该说明是否将他们的人工智能方法与简单的基线模型（M.7）以及最先进的竞争对手（M.8）进行了比较。
重现性
AIMe注册表
AIMe注册中心提供三个主要服务：添加新报告、查询数据库和为AIMe做贡献（图1）。
图1：AIMe注册处的概述
用户可以创建一个新的报告，查询数据库以找到现有的条目并提出问题，并通过加入AIMe指导委员会或提供反馈来为AIMe做出贡献，这些反馈将被纳入下一版本的标准。
创建一个新的报告
在创建新报告的过程中，AIMe通过AIMe标准的当前版本引导新的AI的作者（如前面对标准的描述中所讨论的）。为了确保标准的普遍适用性，如果回答问题所需的信息不存在，系统允许作者跳过一些问题。为了鼓励作者尽可能少地跳过问题，每份报告都会计算出验证和重现性分数。分数范围从0到10。分数越高，意味着跳过的有关验证和可重复性的问题就越少。AIMe报告的作者可以在任何时候编辑以前创建的报告，但所有以前的版本在HTML报告中仍然可见。
查询AIMe数据库
用户可以通过他们独特的AIMe ID在AIMe数据库中找到现有的报告，或者通过全文或关键词搜索数据库中感兴趣的报告。如果用户在报告中发现他们认为不恰当的、没有信息的或误导性的答案，他们可以在提供他们的个人信息（姓名和电子邮件地址）后提出问题。报告的相应作者可以对这些问题进行回复，他们有两周的时间来通知AIMe执行委员会关于冒犯性或其他不恰当的问题。如果作者没有提出投诉，或者执行委员会将投诉归类为无理取闹，那么这些问题和提出这些问题的用户的个人信息以及作者的回复将被附在报告中。请注意，由于AIMe致力于公开的同行评审，由于误解而产生的问题，但不包含任何侮辱性或偏离主题的内容，将不会被列为不当。因此，通过提出问题，科学界的成员可以审查现有的AIMe报告。这很重要，因为它有助于揭示那些问题回答不充分的报告。
对AIMe的贡献
AIMe管理
使命
AIMe计划的使命是促进开放、透明和可重复的生物医学人工智能研究。为此，我们提供了一个社区驱动的注册中心，生物医学人工智能研究人员可以在这里以标准化的方式报告他们的人工智能模型，在AIMe数据库中搜索与他们工作相关的人工智能系统，并对现有的报告以及AIMe标准本身进行评论（见上文 "AIMe注册中心"）。AIMe倡议致力于遵守以下开放科学的原则。
公开同行评审。对现有条目提出问题的注册中心用户需要提供个人信息，所有问题都被附加到报告中，因此在数据库中是可见的（除非AIMe执行委员会认为这些问题具有攻击性或离题）。
开放的方法。AIMe标准的可公开访问的YAML规范清楚地说明了如何根据报告中提供的答案来计算可重复性和验证性分数。
对知识多样性的开放性。具有不同专业和文化背景的生物医学人工智能研究人员被邀请加入指导委员会，帮助塑造AIMe标准的未来版本。
开放源代码。AIMe注册表的源代码在广泛使用的开放源码许可条款下免费提供（见下文 "代码可用性"）。
组织结构
来自生物医学人工智能领域的科学家可以以三种不同的角色参与并为AIMe倡议做出贡献：作为注册表用户、指导委员会成员和执行委员会成员。这些角色可以描述如下。
注册表用户。注册表用户可以为AIMe倡议做出上文注册表部分所述的贡献：即通过提供新条目、提出与现有条目有关的问题以及对AIMe标准进行评论。此外，如果他们希望在AIMe社区发挥更积极的作用，他们可以申请加入指导委员会。
指导委员会。指导委员会负责维护和更新AIMe标准的规范。其成员是在人工智能、生物医学、生物信息学、计算生物学和数字健康界面工作的专业研究人员。创始指导委员会由本文的所有合作者组成。补充图6提供了其成员在生物医学人工智能方面的专业背景和专业知识的概述。创始指导委员会涵盖了从博士生到全职教授的所有学术水平，并反映了生物医学人工智能社区的国际性，其成员在欧洲、亚洲和美洲的八个不同国家的研究机构工作。
执行委员会。执行委员会负责协调AIMe标准的年度审查，负责AIMe平台的托管和技术维护，负责审查对提出的问题的投诉（即决定问题是否符合攻击性或离题），并管理加入指导委员会的请求。如果请求者(a)提供可信的迹象表明他们是具有生物医学人工智能专业知识的专业研究人员，并且(b)承诺积极参加每年的修订过程，那么这种请求将得到积极的答复。创始执行委员会由本文的第一作者和资深作者组成。
每年的修订过程
由于生物医学人工智能是一个快速发展的领域，AIMe标准必须不断适应新的发展，以确保它能继续反映研究界的需求。因此，AIMe预见了每年的修订过程，分为两个阶段：每年1月1日至9月30日的反馈阶段和10月1日至12月31日的合并阶段。
结论
人工智能在生物学和医学领域正在崛起，并在众多的应用场景中显示出实用性。然而，有关人工智能的数据、方法和实施的基本信息在相关出版物中往往是不完整的。这使得判断、全面比较和复制生物医学AI的结果变得很困难，这种情况反过来又构成了开发新的AI方法和在研究和实践中应用AI的主要障碍。为了解决这个问题，从而提高生物医学AI的质量、可靠性和可重现性，我们开发了本文介绍的社区驱动的AIMe注册表。这使得作者可以很容易地注册他们的AI，并协助研究人员和从业人员找到与他们的应用场景相关的现有AI系统。
代码的可用性
AIMe网络服务见https://aime-registry.org。源代码见https://github.com/aime-registry/aime-frontend/和https://github.com/aime-registry/aime-backend/。它是根据GNU通用公共许可证第三版（https://www.gnu.org/licenses/gpl-3.0.en.html）授权的。
参考资料
Matschinske, J., Alcaraz, N., Benis, A. etal. The AIMe registry for artificial intelligence in biomedical research. NatMethods (2021). https://doi.org/10.1038/s41592-021-01241-0
----------- End -----------
2021人工智能药物研发创新论坛｜第一轮通知
Science China｜用增强的联邦学习应对药物发现数据小和偏的困境
Drug Discov Today｜药物研发风险地图
Drug Discov Today｜FDA童伟达：基于AI的语言模型为药物发现和开发提供动力
Nature Outlook｜借助算法和模拟将蛋白质折叠的瞬时结构转变为药物靶点
AI药物发现公司继续寻求最佳商业模式
人工智能在药物研发中的应用
远程机器人实验室在AI药物发现中的应用价值与前景
2020年AI + 药物研发全景概述：(二) AI如何应对制药行业的效率挑战
20家顶尖制药公司如何将AI应用于药物研发：近年来主要合作活动