BMEF | JOSHUA—新一代机器学习模型，分割量化脂肪组织
近日，美国佛罗里达大学的Alina Zare和Whitney L. Stoppel教授团队在Science合作刊BMEF（BME Frontiers）上在线发表了题为Jointly Optimized Spatial Histogram UNET Architecture (JOSHUA) for Adipose Tissue Segmentation的文章。
用再生生物材料代替或修复受损的组织和器官可以解决器官短缺和排异的问题。理想的软组织再生生物材料需要具备促进细胞深入支架的能力和与新生组织形成平衡的降解速度。从家蚕蚕茧中提取的蚕丝蛋白（Silk fibroin）具有可灵活调节的机械、结构和化学参数，是一种被广泛应用的生物材料。然而，蚕丝蛋白生物材料内部和周围的脂肪组织沉积却并未被关注。在骨骼肌疾病的治疗中，随着骨骼肌的萎缩，脂肪组织如果过度增加会导致组织变形、麻痹，甚至死亡；另一方面，脂肪组织有保护器官和保持身体外形的作用。因此为不同临床应用选择最优生物材料时，对生物材料所产生的脂肪的量化十分必要。常用的量化方法是在组织学染色图像中手工标记脂肪细胞面积。但手工标记耗时又繁琐，也容易因判断标准不一致（如不同的标记者、疲劳等原因）造成误差。
通过机器学习模型来自主识别和量化组织切片中的脂肪可以减少误差，提高效率。深度学习是机器学习的一个子领域，已经被应用于对组织图像的分类、回归和分割等不同任务中。分割任务包括识别与细胞、细胞核、腺体、组织和肿瘤相关的感兴趣区域（Regions of interest, ROI）。编码器-解码器模型是目前最先进的语义分割方法，UNET是其中一种模型，具有快速、高效、高通量的优势，可用于定量脂肪组织。UNET的复制和裁剪路径将信息融合进网络的开始（即编码器）到结束（即解码器），这促进了对ROI的识别和定位，也有助于改进学习（即减轻梯度消失的影响）。但UNET模型会产生重复和非必要特征，从而增加计算成本。在机器学习中，引入注意力机制（Attention mechanisms）能提高模型在不同应用中的性能，包括自然语言处理和语义分割。这种方法可以更好地训练模型，使其专注于数据中最相关和最重要的特征，将注意力机制集成到UNET中可以提高分割性能。目前构建的UNET不直接编码统计纹理信息，而统计纹理信息可以提高语义分割的性能。使用统计纹理特征来更好地描述数据的空间分布则能改善整个卷积神经网络的信息传送。
为了改进脂肪组织的识别和量化，本文作者团队将直方图层整合到架构中，由此提取来自编码器的统计纹理信息，并在解码器串联这些特征，称为联合优化空间直方图UNET架构（Jointly optimized patial histogram UNET architecture, JOSHUA）。此外，作者还提出了JOSHUA和UNET的替代模型（JOSHUA+和UNET+），将统计纹理特征作为一种注意力启发方法来加权网络中的重要信息，以改善每个模型在训练期间学到的语境。
作者将无细胞蚕丝蛋白冻干海绵体植入SD大鼠侧袋，并于术后1周、2周、4周、8周切除蚕丝蛋白海绵及覆盖组织，制备标本，用苏木精、伊红（H&E）和马森三色染色液染色。将这些蚕丝蛋白生物材料组织学图像（Silk fibroin biomaterial histology images，SFBHI）的每个像素标记为脂肪/背景，用作每个图像的地面真值（Ground truth）来训练机器学习模型，并根据输入的图像产生预测（图1）。
图1：总体思路：数据收集、处理和分析
文中使用了6个指标来评估验证图像的分割性能：Sørensen Dice系数，总体Intersection over Union（IOU），脂肪组织IOU，精确率，召回率和特异性。每个度量值的范围在0到1之间。取值为0表示地面真值与模型预测不重叠，取值为1表示地面真值与模型预测完全重叠。为增加机器学习样本的全面性，作者设置了五种样本，作为“简单”具有高脂肪含量的3个样本组：丝质胶原蛋白I（silk-collagen I, s-c）、丝蛋白+VEGFS（silk+VEGFS, s+VEGFS）和丝蛋白生物材料；作为低脂肪含量的2个样本组：丝蛋白-肝素+VEGFS（silk-heparin+VEGFS, s-h-VEGFS）和丝蛋白-胶原蛋白I-肝素+VEGFS（silk-collagen I- heparin+ VEGFS, s-c-h-VEGFS）（图2）。
作者对五种模型UNET、UNET+、Attention UNET、JOSHUA、JOSHUA+进行对比（图2），证实在网络中加入直方图层能提供更多的信息来提高分割性能，统计纹理特征有助于捕捉脂肪组织沉积。而且注意力启发模型的学习参数少于Attention UNET，所以训练好的注意力模型的存储需求少，融合操作也比UNET、Attention UNET和JOSHUA的连接方法计算得更快。
图3：使用GlaS数据集对各模型的评估
接着作者使用JOSHUA+研究了不同生物材料配方的脂肪面积随时间的统计差异，并提出未来需要确定与切片和支架面积相关的脂肪面积，从而确定脂肪组织与时间和生物材料配方间函数的生物学解释。另外，作者统计了对一张图像进行手动标记和使用JOSHUA+量化脂肪区域的时间，两者有200%的差异（图4）。
文章还提出，对于机器学习方法来说目前数据集相对较小，需要额外的图像用于训练和验证模型以提高性能。然而，这样的数据集对于生物材料科学家和工程师来说比较大。另一个限制是，训练所用的地面真值来源于一个手工标记，存在误差，因此，需要使用来自多个专家的标记以进一步提高模型的鲁棒性和准确性。
图4：脂肪面积不同时间的差异及JOSHUA+与手工标记的时间差
总的来说，本文不仅新颖地纳入直方图层以提取统计纹理和空间信息来提高分割性能，还为评估脂肪组织分割的组织学图像提供了新数据集。文中提出的注意力启发方法简单有效，在实现同等或更好性能的同时减少了模型的参数。其中JOSHUA+能准确识别生物材料中脂肪积累随时间变化的差异，且与人工标记相比，识别脂肪组织区域时间大幅降低。
团队介绍
本研究的通讯作者是Alina Zare博士，就职于佛罗里达大学电气与计算机工程系机器学习与传感实验室，专注于研究用于传感的人工智能、机器学习、计算智能和信号处理方法，并开发出用于探地雷达、高光谱图像、电磁感应数据、合成孔径声纳和微型根管成像的算法。
本研究另一位通讯作者是Whitney L. Stoppel博士，就职于佛罗里达大学化学工程系，专注于研究生物材料、体外和体内细胞-材料相互作用以及组织工程和再生医学等方面。
原文链接：
https://doi.org/10.34133/2022/9854084
-----往期荐读-----
细胞和组织阻抗成像的设计和应用Impedance Imaging of Cells and Tissues: Design and Applicationshttps://doi.org/10.34133/2022/9857485
About BMEF
BMEF(《生物医学工程前沿》)是中国科学院苏州生物医学工程技术研究所(SIBET CAS)与美国科学促进会(AAAS)/Science合作出版的开放获取国际学术期刊。期刊旨在为生物医学工程这一交叉学科提供一个高效的交流平台，以推动领域内的科学家、工程师和临床医学专家及时地交流，共同促进人类健康。关注在致病机理研究和疾病预防、诊断、治疗及评估方面取得的突破性进展，包括概念、设备、材料、组织、过程和方法。致力于报道临床前的基础研究、转化医学和临床研究的成果。
期刊网址：
https://spj.sciencemag.org/journals/bmef/
投稿网址：
https://www.editorialmanager.com/bmef/
欢迎各位同仁踊跃投稿！
点击下方“阅读原文”查看文章原文
点击“在看”，助力传播