查看原文
其他

病理AI:基于深度学习的方法综述

梅蓝尹 柯晶 秋女 壁仞科技研究院 2021-09-19


摘要

病理图像包含丰富的表型信息,准确的病理图像分析结果可以对个性化癌症治疗提供很好的参考依据。近年来,数字显微镜的快速发展使得组织切片的高分辨率和高速数字化成为可能,而基于机器学习,特别是深度学习的方法已成为病理图像分析的主流方法,相关的研究层出不穷。本文将对现有的应用于病理图像分析的深度学习方法进行梳理,加以分析和讨论,并对其未来的发展进行展望。


背景介绍


病理图像包含丰富的表型信息(Phenotypic Information),可用于监测癌症患者的病情,预测存活率,准确的病理图像分析结果可以对个性化癌症治疗提供很好的参考依据。一个典型的病理图像采集过程主要包括以下几个步骤:1.获取活体组织切片(Biopsy);2.通过石蜡包埋(Paraffin Embedding)获取固定好的组织块(Tissue Block);3.将组织块进行切片;4.将切片置于载玻片上并进行染色(Staining);5.将染色后的组织置于扫描仪上进行图像采集;6.最终获得数字化的病理图像。

病理学中的计算图像分析已经存在多年 [2,3]。然而,由于载玻片数字化、计算机硬件、处理时间和图像分析方法以及数据存储的能力等多方面无法提供很好的支持,其在常规病理学中的应用受到限制[1]。近年来,数字显微镜的快速发展使得组织切片的高分辨率和高速数字化成为可能,而基于机器学习,特别是深度学习的方法已成为病理图像分析的主流方法,相关的研究数量逐年攀升。


图1 基于深度学习方法的数字病理学相关文献数量

(数据来源于Google Scholar)


深度学习方法在病理图像分析中的应用


应用于病理图像分析的深度学习方法总结如图2,输入为病理图像,使用的模型为深度神经网络。根据对数据标签的要求,我们将模型分成监督学习、弱监督学习、无监督学习、以及迁移学习4组进行讨论,涉及到的神经网络结构包括:A.卷积神经网络,B.循环神经网络,C.全卷积网络,D.自编码器,E.生成对抗网络;涉及到的应用包括:1.针对细胞及细胞核的检测、分割、分类,2.针对腺体、组织、肿瘤的分割,3.针对癌症的检测、分类、评级,4.针对生存分析的预测、预后,5.针对染色的归一化、迁移。


图2 应用于病理图像分析的深度学习方法总览

以下对上述提到的4组模型逐一进行详细介绍。
1.监督学习

在病理图像分析过程中应用监督学习方法的典型流程总结如图3,首先需要提供带有标签的病理图像数据;接下来需要将原始图像拆解为小的图像块(Patch),这是由于原始图像尺寸较大(典型值为100,000*100,000),且存在大量对于建模无意义的区域(如背景区域、污染区域、无标签区域等);最后根据任务的不同使用分类、回归、分割三类经典的深度学习模型进行处理。


图3 监督学习模型概览

1.1 分类模型

分类模型通常设计为基于滑动窗口的方法,根据任务目标的不同可以分为局部(如预测细胞、细胞核、腺体等)和全局(如疾病诊断和预后)两类。

局部任务中使用的标签为图像块级(Patch-level)的标签,即每个图像块被标注为包含分类主体(如包含要预测的细胞、细胞核等)或背景,当存在多种分类主体时也可标注成多分类模式。这类任务最早的工作是Ciresan等人于2013年提出的基于CNN的像素预测方法,这一方法用于检测乳腺癌病理切片中的有丝分裂[5]。由于CNN模型的训练较为复杂,且需要大量的数据进行模型调整,随后出现的一系列工作主要集中于设计具有生物学意义的手工特征(biologically interpretable handcrafted features),并将其与CNN进行结合,以获取更好的性能[6,7,8,9,10]。最新的一些工作主要考虑通过众包来获取大量的标签。然而,将标签标注工作外包给非专家人员可能会导致数据集中存在具有主观性的不一致的标签,这些带有噪声的标签将会给传统的深度学习模型的训练带来极大的挑战。提高标签质量的一种方法是为每个样本收集多个冗余标签,并在训练模型之前通过各种投票机制将它们聚合。例如,Albarqouni 等人设计了特殊的“众包层”(crowdsourcing layer),将数据聚合过程作为CNN学习过程的一部分,以提高模型性能[11]。另一种方法是利用病理学专家对困难标签提供的反馈来改善标签质量[12]。Marzahl 等人的研究表明,使用预先计算的标签为标注人员提供参考可以提高模型性能[13]。

全局任务主要通过图像块级(patch-level)的分类方法来进行全视野图像级(whole-slide level)的疾病预测。这些方法包括一些简单的CNN结构的使用[14,15],以及一些较为复杂的模型的使用[16,17],这些复杂的模型可以准确地定位癌变组织并给出相应的疾病评级。但这些方法都是对稠密的图像块进行处理,需要花费较长的时间。于是,Roa等人提出了一种CNN和准蒙特卡罗采样结合的方法,仅针对具有高度不确定性的区域进行处理[18]。近年来,基于注意力机制的方法[17,19]越来越受欢迎,与上述基于图像块的方法相比,这些方法有一些有趣的特性:1.通过注意力提供的区域选择机制,模型在进行疾病预测时仅关心诊断信息最丰富的区域;2.模型参数大大减少,训练更快;3.模型复杂度与病理图像的大小无关。

1.2 回归模型

回归模型通过直接对一个像素是目标中心的可能性进行回归来检测或定位目标(通常为一个细胞的中心或一个细胞核的中心)。在组织学图像中,检测细胞或者细胞核是一项比较有挑战性的任务,这是因为它们的形状通常不规则且存在大量重叠现象。在这一任务上使用基于像素的分类方法时,并不能保证充分利用目标中心的像素和邻近目标中心像素之间的拓扑关系,因此通常效果欠佳。为提高目标检测效果,许多学者将其建模为回归问题,由此可以比较方便地引入拓扑约束,比如使目标中心的像素对应的概率值高于距离目标中心较远的像素对应的概率值。相关的工作包括早期Chen等人提出的基于FCN的模型[21],以及较新的通过调整损失函数[22]或者通过增加额外的特征[23]来提高性能的案例。

 1.3 分割模型

分割模型用于提取病理图像中的一些基本元素,如细胞、腺体、细胞核、以及一些其他的组织,这些元素的获取是进一步计算形态学指标并用于评估肿瘤恶性程度的前序步骤。可以设计基于滑动窗口的方法,用每个像素为中心的图像块代表该像素,通过对每个图像块分类来获得分割结果,但这样会带来大量冗余的计算。在用于病理图像分割的模型中,比较常见的是基于FCN的模型[24]和基于UNet的模型[25]。Swiderska-Chadaj等人比较了FCN和UNet的效果,发现基于UNet的模型具有更好的鲁棒性和通用性[26]。与标准的FCN相比,UNet的一个核心特点是有一条上采样路径(upsampling path),配合跳接结构(skip connection)产生了更多具有生物学意义的特征图。

这些方法都是对图像块进行处理,图像块级的方法存在三点缺陷:1.图像块所对应的视野比较狭窄,所包含的来自周围环境的上下文信息十分有限;2.基于图像块的分析逻辑与病理学专家的分析逻辑不一致,病理学专家会在不同放大倍数下观察图像中相互关联的关键区域,而不是孤立的固定大小的图像块;3.通常基于图像块的方法存在大量重叠区域,会带来大量冗余的计算,导致推断时间较长。为应对前两个问题,出现了一些模仿病理学家分析逻辑的方法,如Ho等人提出了一个基于FCN的多编码器多解码器的结构,将不同放大倍数的图像块作为输入,生成丰富的中间特征,以获得更准确的乳腺癌分割结果[27]。为应对计算量问题,Lin等人在FCN中加入了一种稠密扫描机制(dense scanning mechanism),在图像扫描过程中,重叠区域共享计算量[28];Guo等人则设计了一种两级的结构,在肿瘤分割任务中,先通过一个CNN分类器挑选疑似肿瘤的区域,再使用基于FCN的模型对这些区域进行精细化分割[29]。


基于监督学习的方法依赖于大量精细的标注数据,而要获取病理图像的高质量标签是十分困难的,因此也出现了一些使用大量“非专家”标签的方案[12,13]。此外,下文即将介绍的基于弱监督学习和无监督学习的方法也为解决缺少标注数据的问题带来新的思路。


2.弱监督学习

在病理图像分析过程中应用弱监督学习方法的典型流程总结如图4,弱监督学习(Weakly Supervised Learning)旨在根据粗粒度的标签(如图像级的标签)推断出细粒度的标签(如像素级/图像块级的标签)。由于病理图像通常十分巨大,要获取像素级的标签是十分困难的,但图像级的标签(如是否存在肿瘤,是否恶性癌症等)却是比较容易获取的,故关于弱监督学习方法的研究更具有实用意义。


图4 弱监督学习模型概览


用于病理图像分析的弱监督学习方法最常见的一种形式为多例学习(Multiple-Instance Learning),其处理对象为多个未知标签的实例(instance)组成的“包”(bag),提供的标签为“包”的标签,一般将至少包含一个正例(Positive instance)的包标记为“正包”,而仅包含负例(Negative instance)的包标记为“负包”。比如,每张具有图像级标注的病理图像可以看作一个“包”,而图像中的每个像素或者每个图像块可以看作一个实例,若该病理图像中存在癌变区域,则将其标注为“正包”,若该病理图像中不存在癌变区域,则将其标注为“负包”,我们希望通过这些“包”级的标签训练出一个模型,让它既能预测“包”级标签又能预测实例级标签,也即,既能预测整张病理图像中是否存在癌变区域,又能预测出癌变区域的具体位置。

根据最终的预测目标,可以将弱监督学习模型分为3类:
2.1 全局检测模型

全局检测模型的目标是预测“包”级的信息,如预测某张病理图像中是否存在癌变区域。全局预测信息通常由实例级预测信息聚合得到,但由于病理学图像外观变化性较大,实例级预测信息中存在很多噪声,通过普通的池化或者投票机制获取的聚合信息不可靠。为应对这一问题,出现了一些关于聚合方法的研究,如Campanella等人通过一个RNN模型将实例中语义信息更为丰富的特征聚合到一起,以更准确地获取整个病理图像的诊断预测结果[30]。

2.2 局部检测模型

局部检测模型的目标是预测实例级的信息,如检测出癌变组织、癌变细胞所在区域。这类模型通常基于FCN进行设计,训练过程与有监督学习类似,关键问题在于如何产生训练标签。首先可以考虑将“包”级的标签直接用于所包含的实例,但由此获得的实例级预测效果较差[31]。为应对这一问题,Xu等人提出了一个从“包”级标签中生成实例级标签的方案,取得了与监督学习方法相媲美的效果[32]。

2.3 全局局部同时检测模型

全局局部同时检测模型的目标是同时预测“包”级的信息和实例级的信息,如预测某张病理图像中是否存在癌变区域,若存在则同时给出癌变区域的具体位置。由于实例级的标签较难获取,通常以“包”级的标签测试模型性能,然后将实例级的预测结果进行可视化,如生成热点图(heat map)[33]和显著图(saliency map)[34],用以辅助评估模型的可解释性。

 

3.无监督学习

在病理图像分析过程中应用无监督学习方法的典型流程总结如图5,首先将输入数据变换为一个低维子空间内的特征表示,然后将特征表示聚合成互斥或分层的簇,并通过一些约束来保证获取到合理的特征表示。早期的工作可见于Xu等人关于稀疏自编码器在无监督细胞核分割任务上的应用[35]。在一些更为复杂的任务,如在组织和细胞的分类任务中,生成对抗模型也得到了应用[36]。


图5 无监督学习模型概览

近年来,自监督学习也是一个研究热点,由于其同样不需要数据集提供标签,此处暂且将其与无监督学习放在一起讨论。基于上下文的自监督学习方法(如基于空间顺序预测的方法[37]和基于图像旋转的方法[38])以及基于生成模型的方法(如将灰度图像映射成对应的RGB图像的方法)已经在获取更好的初始化网络和利用更少的标签学习目标任务方面获得了较大的成功。然而,在病理图像中,细胞组织结构形成的位置约束、颜色或染色的分布规则等多个方面都与自然场景图像中已发现的规律不同。这一方面使得病理图像的自监督学习任务变得更加困难,另一方面也为研究人员开发可能适用于医学图像的新技术提供了更多的机会。


4.迁移学习

迁移学习旨在将一个域(source domain)中提取到的知识应用于另一个域(target domain),比较常见的一种做法是使用ImageNet预训练的模型,这一做法在病理图像分析中也得到了广泛应用。

此外,病理图像有其特殊性:在切片制作的过程中,根据目标任务不同,会使用不同的染色方法(IHC、H&E等),且即使是使用同一种染色方法,也会由于染色程度的不同导致图像外观变化较大,这会严重影响所训练的CNN模型的效果。为应对这一问题,主要产生了两类方法:域适应(Domain adaptation)和染色归一化(Stain normalization)。

4.1 域适应

域适应是迁移学习的一个子领域,目标是在一个或多个有标签的源域(source domains)上训练模型,然后将其迁移到仅有少量标签或没有标签的目标域(target domains)上,并保持与源域上相近的模型性能。Ciga等人通过改进网络结构来减少模型对目标域标签的依赖,提出了一个多级域对抗网络(multi-level domain-adversarial network)[39]。Gadermayr等人则通过生成对抗网络合成不同染色条件下的病理图像来扩增数据集[40]。

4.2 染色归一化

域适应主要是从特征层面进行调整,以使得两个域的数据分布更为接近,而染色归一化则直接调整输入图像,以使得不同染色条件下的输入图像在外观上更为相近。此外,可以通过图像增强(Data augmentation)来对抗染色变化性,如训练过程中在预先选定的色彩空间内(如HSV、HED)改变每个像素每个通道的值[41,42,43]。早期的使用机器学习的方法假设染色均匀地衰减光(光密度),并将每个光密度图像分解为浓度(外观)和颜色(染色)矩阵[44]。之后这一假设被放宽,一些工作在生成颜色矩阵时考虑了图像的化学染色特性和形态特性[45,46]。最近,神经网络也被用于处理染色变化性问题,如Janowczyk等人将稀疏自编码器用于模板匹配[47],GAN被用于染色风格迁移和染色归一化[48,49]。Tellez等人分析了染色归一化和数据增强两种技术对模型性能的影响(两种技术的效果示意如图6,使用染色归一化会使不同的数据集在颜色空间上的分布更为集中,使用数据增强则会产生相反的效果),其实验结果表明基于HSV或HED色彩空间的数据增强均有助于提升模型性能,而染色归一化带来了一定程度的过拟合,需要配合数据增强才能达到较好的效果,其中基于神经网络的染色归一化方法更具研究潜力[50]。


图6 染色归一化与色彩空间数据增强的效果[50]


总结与思考


从上述讨论中我们可以看到,基于深度学习的方法提供了强大的病理图像分析能力。从病理图像一些基本元素(如细胞、组织、腺体等)的检测、分割、分类等一系列基础的任务,到聚合这些基础任务提供的信息形成对整张病理图像不同区域的分类或分割、对癌变区域的检测、以及对肿瘤恶化程度的评级,再到最终提供生存分析和个性化治疗参考,基于深度神经网络的方法都得到了广泛应用。

目前已有一些将深度学习的方法集成到显微镜上实现实时AI辅助诊断的案例[52],诊断效率和准确率都得到了有效提升。如何基于现有的在病理图像分析方面取得的成果,进一步改善AI辅助诊断的性能,更好地提供治疗建议,将会是接下来一段时间的研究重点。最终,我们希望实现一个能够集成多模态数据(包括医疗图像、基因序列、诊断报告、药物分子结构等相关信息)的智能医疗诊断系统,真正发挥AI在临床应用中的价值。


参考文献


[1] Acs, B., Rantalainen, M., &Hartman, J. (2020). Artificial intelligence as the next step towards precision pathology. Journal of internal medicine, 288(1), 62-81.

[2] Bengtsson, E. (1987). The measuring ofcell features. Analytical and quantitative cytology and histology, 9(3),212-217.

[3] Ong, S. H., Jin, X. C., & Sinniah,R. (1996). Image analysis of tissue sections. Computers in biology and medicine, 26(3), 269-279.

[4] Srinidhi, C. L., Ciga, O., &Martel, A. L. (2020). Deep neural network models for computational histopathology: A survey. Medical Image Analysis, 101813.

[5] Cireşan, D. C., Giusti, A.,Gambardella, L. M., & Schmidhuber, J. (2013, September). Mitosis detectionin breast cancer histology images with deep neural networks. In International conference on medical image computing and computer-assisted intervention (pp.411-418). Springer, Berlin, Heidelberg.

[6] Wang, H., Roa, A. C., Basavanhally, A.N., Gilmore, H. L., Shih, N., Feldman, M., ... & Madabhushi, A. (2014).Mitosis detection in breast cancer pathology images by combining handcraftedand convolutional neural network features. Journal of Medical Imaging, 1(3),034003.

[7] Wang, S., Yao, J., Xu, Z., & Huang,J. (2016, October). Subtype cell detection with an accelerated deep convolution neural network. In International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 640-648). Springer, Cham.

[8] Xing, F., Xie, Y., & Yang, L.(2015). An automatic learning-based framework for robust nucleus segmentation.IEEE transactions on medical imaging, 35(2), 550-566.

[9] Romo-Bucheli, D., Janowczyk, A.,Gilmore, H., Romero, E., & Madabhushi, A. (2016). Automated tubule nuclei quantification and correlation with oncotype DX risk categories in ER+ breastcancer whole slide images. Scientific reports, 6(1), 1-9.

[10] Kashif, M. N., Raza, S. E. A.,Sirinukunwattana, K., Arif, M., & Rajpoot, N. (2016, April). Handcrafted features with convolutional neural networks for detection of tumor cells in histology images. In 2016 IEEE 13th International Symposium on BiomedicalImaging (ISBI) (pp. 1029-1032). IEEE.

[11] Albarqouni, S., Baur, C., Achilles,F., Belagiannis, V., Demirci, S., & Navab, N. (2016). Aggnet: deep learning from crowds for mitosis detection in breast cancer histology images. IEEE transactions on medical imaging, 35(5), 1313-1321.

[12] Amgad, M., Elfandy, H., Hussein, H.,Atteya, L. A., Elsebaie, M. A., Abo Elnasr, L. S., ... & Cooper, L. A.(2019). Structured crowdsourcing enables convolutional segmentation of histology images. Bioinformatics, 35(18), 3461-3467.

[13] Marzahl, C., Aubreville, M., Bertram,C. A., Gerlach, S., Maier, J., Voigt, J., ... & Maier, A. (2019). Fooling the crowd with deep learning-based methods. arXiv preprint arXiv:1912.00142.

[14] Cruz-Roa, A., Basavanhally, A.,González, F., Gilmore, H., Feldman, M., Ganesan, S., ... & Madabhushi, A.(2014, March). Automatic detection of invasive ductal carcinoma in whole slideimages with convolutional neural networks. In Medical Imaging 2014: Digital Pathology(Vol. 9041, p. 904103). International Society for Optics and Photonics.

[15] Ertosun, M. G., & Rubin, D. L.(2015). Automated grading of gliomas using deep learning in digital pathology images: a modular approach with ensemble of convolutional neural networks. InAMIA Annual Symposium Proceedings (Vol. 2015, p. 1899). American Medical Informatics Association.

[16] Qaiser, T., & Rajpoot, N. M.(2019). Learning where to see: A novel attention model for automated immunohistochemical scoring. IEEE transactions on medical imaging, 38(11),2620-2631.

[17] Zhang, Z., Chen, P., McGough, M.,Xing, F., Wang, C., Bui, M., ... & Yang, L. (2019). Pathologist-levelinterpretable whole-slide cancer diagnosis with deep learning. Nature Machine Intelligence, 1(5), 236-245.

[18] Cruz-Roa, A., Gilmore, H.,Basavanhally, A., Feldman, M., Ganesan, S., Shih, N., ... & González, F.(2018). High-throughput adaptive sampling for whole-slide histopathology imageanalysis (HASHI) via convolutional neural networks: Application to invasivebreast cancer detection. PloS one, 13(5), e0196828.

[19] Xu, B., Liu, J., Hou, X., Liu, B.,Garibaldi, J., Ellis, I. O., ... & Qiu, G. (2019, April). Look,investigate, and classify: a deep hybrid attention method for breast cancer classification. In 2019 IEEE 16th international symposium on biomedical imaging(ISBI 2019) (pp. 914-918). IEEE.

[20] Jiang, Y., Yang, M., Wang, S., Li, X.,& Sun, Y. (2020). Emerging role of deep learning‐based artificialintelligence in tumor pathology. Cancer Communications, 40(4), 154-166.

[21] Chen, H., Wang, X., & Heng, P. A.(2016, April). Automated mitosis detection with deep regression networks. In2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI) (pp.1204-1207). IEEE.

[22] Xie, Y., Xing, F., Shi, X., Kong, X.,Su, H., & Yang, L. (2018). Efficient and robust cell detection: Astructured regression approach. Medical image analysis, 44, 245-254.

[23] Graham, S., Vu, Q. D., Raza, S. E. A.,Azam, A., Tsang, Y. W., Kwak, J. T., & Rajpoot, N. (2019). Hover-net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images. Medical Image Analysis, 58, 101563.

[24] Kumar, N., Verma, R., Anand, D., Zhou,Y., Onder, O. F., Tsougenis, E., ... & Sethi, A. (2019). A multi-organ nucleus segmentation challenge. IEEE transactions on medical imaging, 39(5),1380-1391.

[25] Ronneberger, O., Fischer, P., &Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing andcomputer-assisted intervention (pp. 234-241). Springer, Cham.

[26] Swiderska-Chadaj, Z., Pinckaers, H.,van Rijthoven, M., Balkenhol, M., Melnikova, M., Geessink, O., ... &Ciompi, F. (2019). Learning to detect lymphocytes in immunohistochemistry withdeep learning. Medical image analysis, 58, 101547.

[27] Ho, D. J., Yarlagadda, D. V.,D’Alfonso, T. M., Hanna, M. G., Grabenstetter, A., Ntiamoah, P., ... &Fuchs, T. J. (2021). Deep multi-magnification networks for multi-class breastcancer image segmentation. Computerized Medical Imaging and Graphics, 88,101866.

[28] Lin, H., Chen, H., Graham, S., Dou,Q., Rajpoot, N., & Heng, P. A. (2019). Fast scannet: Fast and dense analysis of multi-gigapixel whole-slide images for cancer metastasis detection.IEEE transactions on medical imaging, 38(8), 1948-1958.

[29] Guo, Z., Liu, H., Ni, H., Wang, X.,Su, M., Guo, W., ... & Qian, Y. (2019). A fast and refined cancer regions segmentation framework in whole-slide breast pathological images. Scientificreports, 9(1), 1-10.

[30] Campanella, G., Hanna, M. G.,Geneslaw, L., Miraflor, A., Silva, V. W. K., Busam, K. J., ... & Fuchs, T.J. (2019). Clinical-grade computational pathology using weakly supervised deeplearning on whole slide images. Nature medicine, 25(8), 1301-1309.

[31] Cheplygina, V., de Bruijne, M., &Pluim, J. P. (2019). Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis. Medical imageanalysis, 54, 280-296.

[32] Xu, G., Song, Z., Sun, Z., Ku, C.,Yang, Z., Liu, C., ... & Xu, W. (2019). Camel: A weakly supervised learning framework for histopathology image segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 10682-10691).

[33] Wang, X., Chen, H., Gan, C., Lin, H.,Dou, Q., Tsougenis, E., ... & Heng, P. A. (2019). Weakly supervised deeplearning for whole slide lung cancer image analysis. IEEE transactions oncybernetics, 50(9), 3950-3962.

[34] Huang, Y., & Chung, A. C. (2019,October). Evidence localization for pathology images using weakly supervised learning. In International conference on medical image computing andcomputer-assisted intervention (pp. 613-621). Springer, Cham.

[35] Xu, J., Xiang, L., Liu, Q., Gilmore,H., Wu, J., Tang, J., & Madabhushi, A. (2015). Stacked sparse autoencoder(SSAE) for nuclei detection on breast cancer histopathology images. IEEE transactions on medical imaging, 35(1), 119-130.

[36] Chen, X., Duan, Y., Houthooft, R.,Schulman, J., Sutskever, I., & Abbeel, P. (2016, December). Infogan: Interpretable representation learning by information maximizing generative adversarial nets. In Proceedings of the 30th International Conference on NeuralInformation Processing Systems (pp. 2180-2188).

[37] Noroozi, M., & Favaro, P. (2016,October). Unsupervised learning of visual representations by solving jigsaw puzzles. In European conference on computer vision (pp. 69-84). Springer, Cham.

[38] Gidaris, S., Singh, P., &Komodakis, N. (2018). Unsupervised representation learning by predicting imagerotations. arXiv preprint arXiv:1803.07728.

[39] Ciga, O., Chen, J., & Martel, A.(2019). Multi-layer domain adaptation for deep convolutional networks. In Domain Adaptation and Representation Transfer and Medical Image Learning withLess Labels and Imperfect Data (pp. 20-27). Springer, Cham.

[40] Gadermayr, M., Gupta, L., Appel, V.,Boor, P., Klinkhammer, B. M., & Merhof, D. (2019). Generative adversarial networks for facilitating stain-independent supervised and unsupervised segmentation: a study on kidney histology. IEEE transactions on medicalimaging, 38(10), 2293-2302.

[41] Liu, Y., Gadepalli, K., Norouzi, M.,Dahl, G. E., Kohlberger, T., Boyko, A., ... & Stumpe, M. C. (2017).Detecting cancer metastases on gigapixel pathology images. arXiv preprintarXiv:1703.02442.

[42] Li, Y., & Ping, W. (2018). Cancer metastasis detection with neural conditional random field. arXiv preprintarXiv:1806.07064.

[43] Tellez, D., Balkenhol, M.,Otte-Höller, I., van de Loo, R., Vogels, R., Bult, P., ... & Ciompi, F.(2018). Whole-slide mitosis detection in H&E breast histology using PHH3 asa reference to train distilled stain-invariant convolutional networks. IEEE transactions on medical imaging, 37(9), 2126-2136.

[44] Macenko, M., Niethammer, M., Marron,J. S., Borland, D., Woosley, J. T., Guan, X., ... & Thomas, N. E. (2009,June). A method for normalizing histology slides for quantitative analysis. In2009 IEEE International Symposium on Biomedical Imaging: From Nano to Macro(pp. 1107-1110). IEEE.

[45] Khan, A. M., Rajpoot, N., Treanor, D.,& Magee, D. (2014). A nonlinear mapping approach to stain normalization indigital histopathology images using image-specific color deconvolution. IEEETransactions on Biomedical Engineering, 61(6), 1729-1738.

[46] Bejnordi, B. E., Litjens, G.,Timofeeva, N., Otte-Höller, I., Homeyer, A., Karssemeijer, N., & van derLaak, J. A. (2015). Stain specific standardization of whole-slide histopathological images. IEEE transactions on medical imaging, 35(2), 404-415.

[47] Janowczyk, A., Basavanhally, A., &Madabhushi, A. (2017). Stain normalization using sparse autoencoders (StaNoSA): application to digital pathology. Computerized Medical Imaging and Graphics,57, 50-61.

[48] Zanjani, F. G., Zinger, S., Bejnordi,B. E., & van der Laak, J. A. (2018). Histopathology stain-color  normalization using deep generative models.

[49] de Bel, T., Hermsen, M., Kers, J., vander Laak, J., & Litjens, G. (2018, December). Stain-transforming cycle-consistent generative adversarial networks for improved segmentation ofrenal histopathology. In International Conference on Medical Imaging with Deep Learning--Full Paper Track.

[50] Tellez, D., Litjens, G., Bándi, P.,Bulten, W., Bokhorst, J. M., Ciompi, F., & van der Laak, J. (2019).Quantifying the effects of data augmentation and stain color normalization inconvolutional neural networks for computational pathology. Medical imageanalysis, 58, 101544.

[51] Stenzinger, A., Alber, M., Allgäuer,M., Jurmeister, P., Bockmayr, M., Budczies, J., ... & Klauschen, F. (2021,February). Artificial Intelligence and Pathology: from Principles to Practiceand Future Applications in Histomorphology and Molecular Profiling. In Seminarsin cancer biology. Academic Press.

[52] Chen, P. H. C., Gadepalli, K., MacDonald,R., Liu, Y., Kadowaki, S., Nagpal, K., ... & Stumpe, M. C. (2019). Anaugmented reality microscope with real-time artificial intelligence integrationfor cancer diagnosis. Nature medicine, 25(9), 1453-1457.



 往期推荐

1、机器学习方法在数字芯片设计中的应用

2、多面体编译技术在软硬协同设计中的应用

3、神经渲染最新进展与算法(一):语义图像合成



关于壁仞科技研究院


壁仞科技研究院作为壁仞科技的前沿研究部门,旨在研究新型智能计算系统的关键技术,重点关注新型架构,先进编译技术和设计方法学,并将逐渐拓展研究方向,探索未来智能系统的各种可能。壁仞科技研究院秉持开放的原则,将积极投入各类产学研合作并参与开源社区的建设,为相关领域的技术进步做出自己的贡献。

扫码关注我们


: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存