查看原文
其他

美国FDA如何监管医疗AI:监管框架和当前获批产品

Chris 智药邦 2021-04-06
概要

美国FDA正在为人工智能和机器学习技术制定一个全面的基于产品生命周期的监管框架,该框架将允许人工智能和机器学习软件从现实世界的学习和适应中进化,同时仍然确保其作为医疗器械的安全性和有效性。

FDA设想在基于AI/ML的医疗器械软件的上市前审查中引入“预先确定的变更控制计划”。 

2020年9月《NPJ Digital Medicine》杂志发表的一篇文章显示,目前有64种获FDA批准的基于AI/ML的医疗器械软件。 


01 前言


人工智能(AI和机器学习(ML)技术,能够从医疗服务生成的大量数据中获得新的重要信息,在医学诊断、治疗、管理方面有巨大的潜力,有可能改变医疗保健。

1 AI(图片来自参考资料1)

基于AI/ML的医疗器械软件能够通过学习现实世界的反馈来提升其性能,这正在推动新型医疗器械的发展。

那么,美国FDA当前如何监管医疗AI呢?有哪些产品获批?


02 基于AI/ML的医疗器械软件


根据美国FDA的定义,医疗器械软件(Software as a Medical Device, SaMD)是指任何符合医疗器械法律定义的软件,包括一个或多个软件组件、部件、附件或仅由软件组成的器械

国际医疗器械监管机构论坛(International Medical Device Regulators ForumIMDRF)将医疗器械软件定义为:拟用于一个或多个医疗目的的软件,在执行这些目的时,不作为医疗器械硬件的一部分。 

软件开发人员可以使用机器学习创建“锁定”的算法,使医疗器械软件的性能保持不变;或者创建“自适应”算法,使医疗器械软件的性能可以根据新数据随时变化。

锁定的算法(“Locked” Algorithm)

锁定的算法将固定的函数应用到输入集,因此每次提供相同输入时都给出相同结果。锁定的算法使用手动的过程来更新或验证。

自适应算法(Adaptive Algorithm) 

自适应算法采用一个学习过程改变其性能,因此对于给定的输入集,在性能变化之前和之后的输出可能是不同的。这种算法的更改通常是通过一个定义良好的、可能是完全自动化的流程来实现和验证,旨在基于对新数据或附加数据的分析来提高性能。

自适应算法的AI/ML医疗器械软件不同于其他医疗器械软件,它们有潜力实时优化性能,可以在真实世界的使用中学习新的用户数据而不断进化,不需要手动修改来增加学习或更新。  


03 FDA如何对基于AI/ML的医疗器械软件进行监管


FDA传统的医疗器械监管模式并不是为基于AI/ML的医疗器械软件设计的。FDA预计,根据他们目前对于软件变更的审批方式,许多AI/ML驱动的医疗器械软件的每一次变更或自适应更改都有可能需要进行上市前审查。这促使FDA重新构想这些医疗器械的监管方法。

目前FDA批准的所有基于AI/ML的医疗器械软件产品都是“锁定”的算法。FDA从2019年开始专注于自适应AI。

2019年4月2日,FDA发布了《基于AI/ML的医疗器械软件的监管框架更改拟议-讨论稿和征求意见》,该讨论稿描述了FDA对AI/ML驱动的医疗器械软件的变更进行审查的潜在方法。

2 AI/ML-Based SaMD讨论稿

在这个框架下,在上市前需提交的资料中,FDA引入了一个“预先确定的变更控制计划”。该计划将包括预先变更类型(被称为“医疗器械软件预先规格说明”),以及用于完成这些变更的相关方法学(该方法学被称为“算法变更协议”)。

预先规格说明(SaMD Pre-Specifications, SPS)

预先规格说明是制造商对基于AI/ML的医疗器械软件的“性能”或“输入”的预期的更改,或对“预期用途”相关的更改。包含医疗器械软件在使用时,制造商计划获得的更改的类型。SPS在软件的初始规格和标记周围绘制了一个“潜在变化区域”,这就是制造商希望算法在学习过程中变成的样子。  

算法变更协议(Algorithm Change Protocol, ACP)

算法变更协议是指制造商有何实现SPS中描述的预期更改类型的方法,以及适当控制SPS中描述的预期更改类型的相关风险的方法。ACP是一个循序渐进的数据和程序的描述,以使更改达到目标,并使软件在更改后保持安全和有效。

FDA期望从制造商那里获得基于AI/ML的医疗器械软件的透明度和真实世界性能的承诺,同时定期向FDA更新:在已批准的“预先规格说明”和“算法变更协议”中,哪些变更已经实施了。 

这个拟议的监管框架使AI/ML医疗器械软件的迭代改进能力在FDA的监管范围之内,保证患者的安全。 

FDA预计未来还将采取更多的步骤,包括发布指南草案等,草案将参考该讨论稿的反馈信息。 


04 讨论稿的核心内容


该讨论稿依赖IMDRF风险分类原则,FDA的获益-风险框架,软件修改指南中的风险管理原则,以及数字健康软件预认证(Pre-Cert计划中设想的基于组织的产品全生命周期管理(Total Product Life CycleTPLC)方法,还结合了当前的上市前监管程序,包括510(k)、De Novo和上市前审批(PMA)路径。  

讨论稿包括6部分,分别是:总体介绍、基于AI/ML的医疗器械软件的背景、基于AI/ML的医疗器械软件的更改的类型、基于AI/ML的医疗器械软件的产品全生命周期管理方法、附录A-举例、附录B-ACP的建议内容。 

医疗器械软件的IMDRF风险分类

基于AI/ML的软件,当用于治疗、诊断、治疗、减轻或预防疾病或其他情况时,属于FDA和IMDRF所称的医疗设备软件的范畴。与其他医疗器械软件类似,基于AI/ML的医疗器械软件的预期用途可能会对患者产生一系列影响,于是按照IMDRF医疗器械软件风险分类框架进行分类。
‍‍1 IMDRF医疗器械软件的风险分类(表格来自参考资料2)‍‍

基于AI/ML的医疗器械软件的风险从最低(I)到最高(IV)可以分为四类。

基于AI/ML的医疗器械软件的更改的类型

基于AI/ML的医疗器械软件有许多可能的更改。这些更改都涉及算法架构的更改和使用新数据集的再训练。更改的种类一般可分为三大类:与性能相关的更改、与输入相关的更改、与预期用途相关的更改。

基于AI/ML的医疗器械软件的产品全生命周期管理方法

按照Pre-Cert的设想,将TPLC方法应用于基于AI/ML的医疗器械软件尤为重要,因为它能够在真实世界的使用中适应和改进。这种TPLC方法能够评估和监控软件产品从上市前开发到上市后的表现。

为了充分发挥AI/ML算法的力量,同时能够持续改善其性能并限制退化,FDA提出的TPLC方法基于以下4个原则:

A 建立质量体系和良好的ML操作规程(GMLP)

3 FDA的TPLC方法对AI/ML工作流程的覆盖(图片来自参考资料2)

FDA希望每一个医疗器械制造商都建立一个质量体系,该体系的目标是在整个生命周期中开发、交付和维护符合相应标准和法规的高质量产品。而且AI/ML算法开发涉及到从数据中学习,因此要体现GMLP的独特考虑。

上市前对基于AI/ML的医疗器械软件的安全性和有效性的初步保证。对需要上市前批准的医疗器械软件进行上市前审核,以证明其安全性和有效性的合理保证,并对基于AI/ML的医疗器械软件制造商建立明确的期望,以便在整个生命周期持续管理患者的风险。

C 期望制造商在开发、验证和执行算法更改的时候监控AI/ML器械,并纳入风险管理方法和“决定何时向现有器械提交510(k)软件更改”指南中的其他方法。

D 使用上市后真实世界的表现报告,来持续提高软件对于用户和FDA的透明度,以保持产品的安全性和有效性。

这些原则为保证基于AI/ML的医疗器械软件的安全性和有效性提供了实现途径。


05 美国FDA医疗AI的批准产品


在2020年9月11日《NPJ Digital Medicine》发表的一篇文章中,Stan  Benjamens等人整理了目前可以找到的FDA批准的基于AI/ML的医疗器械和算法,并建立和启动了第一个全面的、开放获取的基于AI/ML的医疗技术的数据库,该数据库获得了FDA的批准。

通过对所有的批准进行交叉检查和验证,他们确定了64种基于AI/ML的FDA批准的医疗器械软件。其中,只有29种在FDA的官方声明中有AI/ML相关的表述。对于其他35种,FDA以外的在线来源将其标记为是基于AI/ML的技术。

2 29种FDA批准的基于AI的医疗器械软件

在医疗硬件或软件产品合法进入美国市场之前,产品的母公司必须将其提交给FDA进行评估。对于面向医疗的基于AI/ML的算法产品,有三个级别的审批,即510(k)、PMA和de novo途径(de novo pathway),每一个级别都需要满足特定的标准才能获得批准。

3 FDA批准的基于AI/ML的医疗技术的类型

这64种医疗器械软件中,大多数通过了FDA的510(k)审批,8个通过了de novo途径审批,1个通过了PMA。  


06 医疗中自适应AI的未来


自适应AI允许软件从新的数据中学习,并结合临床医生的反馈来优化其性能。这种反馈机制在非医疗AI服务中比较常见。然而目前,所有FDA批准的基于AI/ML的医疗器械软件产品都是“锁定”的,这些产品的所有算法更新均由制造商控制,并非软件自主控制,并且此类更新都需要进行新的FDA上市前审查,即使先前的版本已经获得FDA批准。 

这很大程度上是由于自适应AI在带来优势的同时,也有不可忽视的潜在风险。比如,自适应AI可能会从临床医生或机构那里学习到错误的经验教训。发表在2019年《Science》杂志上的一项研究报告称,美国医疗保健系统广泛使用的一种指导健康决策的算法显示出明显的种族偏见:被该算法确定为相同风险水平的黑人患者的病情比白人患者的病情要严重得多。如果医疗AI产品无法实时评估和测试医疗保健系统中的隐性偏差,那么这将影响到医疗AI的公平和有效性。

FDA在2019年4月发布了监管自适应AI的讨论稿,设想在上市前审查中引入了一个 “预先确定的变更控制计划”,可以理解为是一种以可控的方式来实现自适应AI的监管框架

两种医疗器械软件的市场授权为自适应AI奠定了基础。其中一个是IDx-DR,可以在不需要临床医生解释图像或结果的情况下,诊断糖尿病性视网膜病变,从而提供筛查决策。第二个则是2020年初的Caption Guidance。Caption Guidance能够提供图像的实时指导和诊断质量评估,使那些未经专业培训的医学专业人员也可以捕获高质量的诊断图像。这两种产品为FDA的“预先审查”开创了先例。

尽管由于FDA采取了积极的措施,监管框架正变得越来越清晰,然而自适应AI的成熟可能还需要一段时间。另外,虽然自适应算法的潜力巨大,但自适应算法的AI是否比锁定算法的AI具有更好的实际临床效益,还需要证据来说明。

自适应算法AI的自我控制可能是未来,但不是现在。 

基于AI/ML的医疗器械软件的自动进化权限,至少目前还需要掌握在人类的手中。


参考资料

1.https://www.medicalplasticsnews.com/news/opinion/the-regulatory-changes-ai-brings-to-life-sciences/
2.https://www.regulations.gov/document?D=FDA-2019-N-1185-0001
3.Benjamens, S., P. Dhunnoo, and B. Mesko,The state of artificial intelligence-based FDA-approved medical devices andalgorithms: an online database. NPJ Digit Med, 2020. 3: p. 118.
4.https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device#regulation
5.https://www.fda.gov/news-events/press-announcements/statement-fda-commissioner-scott-gottlieb-md-steps-toward-new-tailored-review-framework-artificial
6.https://www.mddionline.com/regulatory-quality/new-developments-fda-regulation-ai
7.Obermeyer, Z., et al., Dissecting racialbias in an algorithm used to manage the health of populations. Science, 2019. 366(6464):p. 447-453.
8.https://www.statnews.com/2020/10/02/how-should-fda-regulate-adaptive-ai/

(Chris)


----------- End -----------






历史文章推荐    



合作制药时代,虚拟制药公司发展的新契机
跨界者在行动:互联网巨头在AI药物发现方面,都做了哪些工作
近两年AI药物发现领域国内外重要投资:7项上亿美元,21项超千万美元
涉及AI的临床试验的国际指南SPIRIT-AI和CONSORT-AI在顶尖医学杂志发布
AI药物发现的数据共享模式探索:以十大顶尖药企参加的MELLODDY项目为例
AI辅助药物临床试验受试者招募:几种方式和几个问题
CDE征求意见的模型引导的药物研发(MIDD)是什么
虚实结合的AI药物发现:现场数据生成,模型迭代更新


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存