虚拟染色：应用于病理诊断的深度学习图像“PS”技术

在医院里，有这样一群默默无闻的人，他们几乎不与病人接触，但是每个重大疾病的最终确诊，都需经他们过目，他们被誉为“医生的医生”——我们的病理科医生。

临床医生手术取下来的样品，必须经过病理科技术人员的切片、固定、染色等处理，制备成病理切片样品，以便病理科医生在显微镜下观察做出诊断。根据观察的结果，病理科医生会准确地界定疾病类型及恶性程度等级，作为疾病诊断的金标准，为临床治疗方案提供切实的指导。

病理科医生每天都需观察大量的病理切片样品，用他们的“火眼金睛”找出样品中变异的细胞（如图1所示）。一方面，由于需要长期使用显微镜，眼疾和颈椎病通常会成为他们的职业病。另一方面，染色切片的制备需要使用多种化学试剂（包括3类致癌物二甲苯、1类致癌物甲醛等有毒物质）；需要要求严格遵循特定的染色流程，精准控制时间、温度等条件，是一项耗时耗力且重复性极高的工作。

病理科医生们企盼科技的发展能够改进目前的病理科诊断流程与模式，将他们疲惫的双眼解放出来。

这几年大火的人工智能，是否可以解锁这一繁重的工作？是否能够简化样品制片、快速成像，甚至实现自动阅片与智能诊断？我们亟需相关技术能够改进目前的病理科诊断流程与模式。

图1 病理医生在显微镜下观察病理切片，出具诊断报告

近日， BME Frontiers在线发表了美国UCLA大学（加州大学洛杉矶分校）Aydogan Ozcan教授团队题为‘Emerging Advances to Transform Histopathology Using Virtual Staining’(虚拟染色改观病理学的前沿进展)的综述。该综述系统介绍了近几年以深度学习为基础的虚拟染色技术在辅助病理诊断方面的研究进展，并提出了亟待解决的重大问题和前景预期。

首先，作者阐述了虚拟染色的概念和需求。传统病理诊断通常使用生化染色剂（如H&E，即苏木精-伊红染色剂）对固定样品进行染色并将其作为病理诊断的金标准，但样品制备时间通常在2-3天。使用冰冻切片可将诊断时间缩短为半个小时左右，虽能辅助进行术中诊断，但可靠性却会大打折扣。因此，研究人员尝试将多种非标记（既无需染色）的成像方法应用到病理样品上，例如受激拉曼成像、光声成像、光学相干层析成像、单光子光片照明吸收成像等。由于这些方法不用对样品进行复杂的染色，不仅缩短了处理时间，更大大减少了病理医师和病理技术人员的化学物质暴露。但这类方法对细胞核、细胞质、胞外基质等组织成分呈现出的反差（contrast）与传统生化染色方法呈现出的颜色反差（color contrast）不同，病理科医生通常很难理解、识别，并依次进行诊断。因此“虚拟染色”应运而生，将非标记成像生成的图像经过计算机图像处理，虚拟“染色”成病理科医生熟悉的传统生化染色图像。

图2 非标记的病理切片成像经过“虚拟染色神经网络”之后生成虚拟的HE染色图像，与生化H&E染色的图像高度一致

这种针对病理切片的虚拟染色方法，并不是一个简单的“像素至像素”的颜色映射，而是需要经由深度学习神经网络处理的，“图像至图像”的复杂转变过程。该技术通常包含以下主要步骤：

1）采集图像-采集非标记图像和与其对应的生化染色图像；

2）精确配对-将采集到的非标记图像与对应生化染色图像进行精确配准并生成训练集；

3）搭建并训练神经网络，如卷积神经网络（CNN）或者生成对抗网络（GAN）。

一旦神经网络训练完成，就可以将新采集的非标记样品图像，直接通过神经网络转化为神经成病理医生熟悉的生化染色图像，从而进行下一步的诊断和治疗。

非标记成像结合“虚拟染色”，不仅可以生成常用的H&E染色图像（如图2所示），也可以生长其他类型的病理染色图像，例如马森三色（Massson’s Trichrome）染色， Jone六亚甲基四胺银（JMS）染色等（如图3所示）。该技术生成的病理图像也具有更好的均一性，更容易标准化，不易受到染色条件不同的干扰，同时只需一张切片即可实现多种染色，从而有望大幅提高病理诊断的准确性。在此基础上，实现智能化的AI病理诊断也指日可待。

图3 双通道的自动荧光非标记成像可以“虚拟染色”成H&E、MT、JMS等多种不同的病理图像

Ozcan教授认为：更多基于contrast的成像方法与基于深度学习的 “虚拟染色” 有望彻底改变目前病理科诊断的流程与模式，使得诊断更为快速、准确、高效。除了已经展示的技术可行性外，Ozcan教授还从经济学方面分析了这种转变的可能性：指出只有整体病理诊断的成本更为经济，新的模式才有可能被医院和病患者所接受。新的“虚拟染色”模式可能会增加医院在病理切片扫描仪、图像分析工作站、图像存储服务器、IT支持等方面的成本投入，但是可以极大地减少样品处理、生化试剂消耗、相关染色设备方面的成本消耗，同时病人得到诊断结果的时间也将大幅缩短。在经过部分医院的试点实验后，这项技术将有望实现大规模应用。

通讯作者介绍

Aydogan Ozcan博士，UCLA教授，UCLA生物和纳米光子学实验室负责人，霍华德休斯医学院HHMI教授，加利福尼亚州纳米系统研究所副主任和Volgenau工程创新主席。已当选美国国家发明院 (NAI) 院士，美国科学促进会 (AAAS)会员，国际光子学会 (SPIE) 会士，美国光学学会 (OSA) 会士，美国医学和生物工程学院 (AIMBE) 会士，电气电子工程师学会 (IEEE) 会士，英国皇家化学学会 (RSC) 会士，美国物理学会 (APS) 会士和古根海姆基金会成员。

Ozcan教授为计算成像，传感和诊断作出了开创性的贡献，并获得科学家和工程师早期职业总统奖，国际光学委员会奖，生物光子技术创新奖，Rahmi M. Koc科学奖章，美国国家科学基金会职业奖，国立卫生研究院主任新创新者奖，国家工程院Grainger基金会前沿工程奖等多个奖项。目前已发表科学期刊及会议论文700余篇，获得和申请专利60余项。

原文链接：

https://spj.sciencemag.org/journals/bmef/2020/9647163/

https://doi.org/10.34133/2020/9647163

小编寄语

“AI和PS? 虚拟还是现实？” 这些特技不仅可以被美女们用来在朋友圈炫炫美图，还可以被科学家用来做重大疾病的病理诊断！

基于对Ozcan教授深厚科学造诣的敬仰和严谨科学态度的尊重，小编相信“新的成像手段+虚拟染色”将会给传统的病理学科带来全新的体验。

往期推荐

About BME Frontiers

BME Frontiers (《生物医学工程前沿》)是中国科学院苏州生物医学工程技术研究所(SIBET CAS)与美国科学促进会(AAAS)/Science合作出版的开放获取国际学术期刊。期刊旨在为生物医学工程这一交叉学科提供一个高效的交流平台，以推动领域内的科学家、工程师和临床医学专家及时地交流，共同促进人类健康。关注在致病机理研究和疾病预防、诊断、治疗及评估方面取得的突破性进展，包括概念、设备、材料、组织、过程和方法。致力于报道临床前的基础研究、转化医学和临床研究的成果。

期刊网址：https://spj.sciencemag.org/journals/bmef/

投稿网址：https://www.editorialmanager.com/bmef/

欢迎各位同仁踊跃投稿！

点击“在看”，助力传播