作者解读 | 人工智能预测直肠癌新辅助放化疗疗效：开创整合多模态特征预测新模式

《柳叶刀-数字医疗》（The Lancet Digital Health）近日发表由中山大学附属第六医院放疗科万香波主任医师团队以及中国科学院自动化研究所田捷教授团队合作牵头完成的一项基于人工智能预测局部晚期直肠癌新辅助放化疗疗效的最新研究。本研究创新性提出整合影像组学和病理组学“两层面”模态特征的建模策略，成功研发出一套可准确预测直肠癌新辅助疗效的人工智能系统（RAPIDS），并在多中心外部数据集和前瞻性临床试验中完成出色验证，有望成为直肠癌新辅助放化疗疗效个体化预测的新手段。柳叶刀特别邀请作者团队为读者带来文章解读。

作者介绍

万香波（通讯作者）

医学博士、主任医师、博士研究生导师，中山大学附属第六医院放疗科学术带头人、科室副主任。擅长消化道肿瘤放射治疗、放射损伤与防护。任中国抗癌协会大肠癌专委会放疗学组委员、中国医师协会结直肠肿瘤专委会放疗学组委员

冯莉莉（第一作者）

医学博士（肿瘤学），就读于中山大学附属第六医院放疗科。研究方向为消化道肿瘤放射治疗、放射损伤与防护，人工智能真实世界研究

文章解读

研究背景

新辅助放化疗联合全直肠系膜切除术（total mesorectal excision,TME）和辅助化疗是局部晚期直肠癌的标准治疗方案，[1,2]其中15%-27%的病人在术后证实获得“病理完全缓解（pathological complete response,pCR）。[3]研究表明，pCR患者的远期生存率显著高于非pCR患者，且因组织内无肿瘤细胞残留，可考虑通过严密随访监测的“等待观察”策略替代外科手术，以避免手术带来的风险和并发症，最终获得既“活得久”（生存期达正常寿限）又“活得好”（避免放疗及术后相关不良反应及并发症）的完美效果。[4]因而，若能在治疗前筛选出对放化疗特别敏感的患者，通过给予标准或强化的新辅助治疗方案，以提升患者pCR率，最终达到延长生存期和提升生存质量的双重获益。因此，建立高效准确的直肠癌新辅助疗效预测方法，对直肠癌的个体化治疗具有重要意义。

近年来，人工智能在疾病诊断、疗效评估和预后预测等方面表现出独特的优势。[5–8]然而，已报道的人工智能模型预测直肠癌新辅助放化疗疗效的研究，大多基于小样本、单中心、回顾性数据。重要的是，既往的研究都是基于影像组学单一模态图像，因而无法全面捕获疾病的特征，存在模型过拟合及无充分的外部验证等问题。[9–11]针对这些问题，此研究基于多中心、大规模直肠癌人群样本，研发了全新的、整合影像组学及病理组学“两层面”特征的直肠癌新辅助放化疗疗效预测模型——RAPIDS（RAdioPathomics Integrated prediction System），并进行多中心外部验证和前瞻性临床验证，为临床上直肠癌个体化治疗提供新颖手段。

研究方法

本研究先回顾性纳入了933例接受了新辅助同步放化疗和TME手术的局部晚期直肠癌患者，其中来自中山大学附属第六医院的303例作为模型训练集，来自中山大学肿瘤防治中心和云南省肿瘤医院的480例和150例分别作为两个独立外部验证集。同时，采集所有患者治疗前盆腔MRI影像和内镜下活检病理HE切片扫描图像，由经验丰富的影像诊断科医师和病理医生勾画肿瘤图层作为机器学习的感兴趣区域。利用深度学习方法，研究团队构建了整合影像组学及病理组学“两层面”特征的多模态预测模型——RAPIDS，并在两个独立外部验证集中测试了RAPIDS预测直肠癌新辅助治疗疗效的准确性，同时比较RAPIDS与传统的单模态预测模型的表现差异。更进一步，研究团队开展了一项前瞻性、观察性临床试验（ClinicalTrial.gov NCT04271657），在患者接受新辅助治疗前由RAPIDS预测其是否可以达到pCR，并与新辅助放化疗治疗后手术病理结果进行比较，以验证RAPIDS在真实世界中的预测效能（原文图1）。

Figure 1: Workflow of the study 

研究结果

（1）RAPIDS的研发和外部验证

研究团队从直肠癌患者治疗前的MRI影像（包含三个横断面序列：T2加权，T1增强，弥散加权）提取出2106个影像组学特征（rMRI），同时基于深度学习从活检病理全切片图像中分别提取770个细胞核特征（pNUC）和220个病理微环境特征（pMENV）。经过一系列的特征筛选和优化调整，最终筛选出与直肠癌放化疗敏感性最相关的9个rMRI特征、12个pNUC特征以及18个pMENV特征，构建了SVM多模态预测模型——RAPIDS。出于对比模型预测效能的考量，研究团队将以上特征集单独或两两组合，分别构建了3个单模态模型和3个双模态模型。

经过外部验证，RAPIDS预测直肠癌新辅助放化疗疗效的平均受试者操作特征曲线下面积（AUC）均达到85%以上，其中外部验证集1的AUC为0.860（95%CI 0.828-0.892），外部验证集2的AUC为0.872（95%CI 0.810-0.934）（原文表2，图2）。

Figure 2: Prediction performance of RAPIDS versus single-modality prediction models in the retrospective training and validation cohorts

（2）RAPIDS在临床真实世界验证中可准确预测直肠癌新辅助放化疗疗效

在前瞻性临床实验中，研究团队模拟了RAPIDS在临床真实世界的应用场景。直肠癌初治患者入院后常规进行盆腔MRI影像检查和肠内镜下活检病理检测，临床医生利用这些图像完成肿瘤临床诊断的同时，交由RAPIDS进行图像分析并预测出该患者的新辅助治疗疗效。在不干预患者接受标准新辅助治疗的情况下，RAPIDS的预测性能稳定，AUC为0.812（95%CI 0.717-0.907）（原文图3）。尽管这是一项观察性临床试验，RAPIDS在临床真实环境下的预测能力得到证实，有望作为直肠癌个体化治疗的辅助依据。

Figure 3: Prediction performance of RAPIDS versus single-modality and dual-modality prediction models in the prospective observational study

（3）多模态特征融合显著提升模型预测性能

既往的预测模型研究多基于单一的医学图像如单纯影像或病理图像，但不同模态的图像在呈现疾病数据特征上具有不同的权重。研究团队发现，整合影像组学及病理组学“两层面”的多模态图像特征可更加全面地捕获肿瘤特征，从而提升模型预测性能。例如，在回顾性外部验证和前瞻性临床验证中，RAPIDS的预测能力（AUC 0.812-0.872）均优于传统的单模态预测模型（rMRI：0.716-0.788；pNUC：0.733-0.832；pMENV：0.630-0.656），以及双模态预测模型（rMpM：0.676-0.756；rMpN：0.783-0.854；pMpN：0.803-0.846）（原文表2，图2-3）。赤池信息准则（Akaike Information Criterion,AIC）检验RAPIDS模型在增加模态特征以提升模型预测效能的同时没有出现过拟合现象。

结论

这是一项基于国内较大宗病例、涵盖多中心外部验证和前瞻性临床验证的直肠癌新辅助放化疗疗效预测的人工智能研究。该研究创新性地提出整合“两层面”模态（病理“微观”肿瘤细胞层面及影像“宏观”肿瘤组织层面）特征的建模策略，以实现肿瘤异质性特征的相互补充，显著提升模型性能。研究团队充分利用影像和病理这两种临床上普遍且必须的诊断图像，初步建立起一套直肠癌新辅助放化疗疗效预测体系，并以此为参考制定新辅助治疗策略，这对于利用人工智能系统辅助直肠癌个体化诊疗具有开创性意义。

此外，该研究采用了直肠癌新辅助放化疗前MRI影像预测pCR的建模策略，有效的规避了新辅助放化疗引起的放射性直肠损伤的干扰信号，提高了人工勾画肿瘤区域的准确性，优化了模型性能。但基于本研究团队既往利用直肠癌新辅助治疗后MRI影像预测pCR的研究经验，[12]新辅助治疗后MRI影像虽可提供更加直接的肿瘤反应后特征，是预测pCR的最直观证据，但由于放射性直肠肛管损伤因素的干扰，导致pCR诊断率低下。如何利用人工智能鉴别诊断放射性肠组织损伤与肿瘤残留，以更精准的鉴别pCR和诊断放射性直肠肛管损伤？研究团队的结果提示，本研究对于直肠非放射性损伤组织（正常直肠及直肠肿瘤）识别的研究经验可作为“第一步”的积累，为后续识别直肠放射性损伤组织奠定基础，有望通过人工智能辅助，最终解决新辅助放化疗后MRI影像诊断pCR准确率低这一临床难题。END

参考文献

[1] Dekker E, Tanis PJ, Vleugels JLA, Kasi PM, Wallace MB. Colorectal cancer. Lancet 2019; 394: 1467–80.

[2] Glynne-Jones R, Wyrwicz L, Tiret E, et al. Rectal cancer: ESMO Clinical Practice Guidelines for diagnosis, treatment and follow-up. Ann Oncol 2017; 28: iv22–40.

[3] Maas M, Nelemans PJ, Valentini V, et al. Long-term outcome in patients with a pathological complete response after chemoradiation for rectal cancer: A pooled analysis of individual patient data. Lancet Oncol 2010; 11: 835–44.

[4] Smith JJ, Strombom P, Chow OS, et al. Assessment of a Watch-and-Wait Strategy for Rectal Cancer in Patients with a Complete Response after Neoadjuvant Therapy. JAMA Oncol 2019; 5: 1–8.

[5] Schwalbe N, Wahl B. Artificial intelligence and the future of global health. Lancet. 2020; 395: 1579–86.

[6] Kather JN, Krisam J, Charoentong P, et al. Predicting survival from colorectal cancer histology slides using deep learning: A retrospective multicenter study. PLoS Med 2019; 16: 1–22.

[7] Niazi MKK, Parwani A V., Gurcan MN. Digital pathology and artificial intelligence. Lancet Oncol. 2019; 20: e253–61.

[8] Liu Z, Wang S, Dong D, et al. The applications of radiomics in precision diagnosis and treatment of oncology: Opportunities and challenges. Theranostics. 2019; 9: 1303–22.

[9] Bulens P, Couwenberg A, Intven M, et al. Predicting the tumor response to chemoradiotherapy for rectal cancer: Model development and external validation using MRI radiomics. Radiother Oncol 2020; 142: 246–52.

[10] Nie K, Shi L, Chen Q, et al. Rectal cancer: Assessment of neoadjuvant chemoradiation outcome based on radiomics of multiparametric MRI. Clin Cancer Res 2016; 22: 5256–64.

[11] Horvat N, Veeraraghavan H, Khan M, et al. MR imaging of rectal cancer: Radiomics analysis to assess treatment response after neoadjuvant therapy. Radiology 2018; 287: 833–43.

[12] Shao L, Liu Z, Feng L, et al. Multiparametric MRI and Whole Slide Image-Based Pretreatment Prediction of Pathological Response to Neoadjuvant Chemoradiotherapy in Rectal Cancer: A Multicenter Radiopathomic Study. Ann Surg Oncol 2020; 27: 4296–306.

推荐阅读

点击阅读原文，查看论文原文