上科大生物医学工程领域近期科研速递

上科大近期科研速递@生物医学工程领域

1

沈定刚组在医学影像人工智能领域取得系列进展：

（1）创新快速磁共振成像的重建方法

（2）开发基于Transformer的跨模态磁共振图像生成技术

（3）开发从全景X光图像重建三维牙齿模型的新方法

（4）基于人工智能的乳腺背景实质强化定量计算

（5）探索基于图神经网络的乳腺癌病理图像分类

2

彭畅组研究一种共享背衬结构的微型双频血管内超声成像探头

3

齐海坤组提出一种高效的自由呼吸心肌多参数定量技术

在医学影像人工智能领域取得系列进展

生医工学院沈定刚组在IEEE Transactions on Medical Imaging 发表多篇研究论文，在医学影像人工智能领域取得系列进展。上海临床研究中心为这些论文的合作单位。

1、创新快速磁共振成像的重建方法

当前基于深度学习的磁共振成像重建模型主要通过卷积神经网络对单一模态进行重建，现有模型的性能主要受限于三个因素：线圈灵敏度估计不准确、先验信息利用不充分和 CNN 的归纳偏差。为此，生医工学院沈定刚团队提出了一种基于卷积与视觉变换器的联合交叉注意力网络。该工作的主要贡献包括：1.为了提高线圈灵敏度估计的精度，研究团队同时优化磁共振图像和线圈灵敏度图。在线圈灵敏度估算中引入了门控层和高斯层，以缓解其不平滑问题，进一步改善灵敏度图的估算。2. 为了更好利用结构的先验信息，利用已采集对象其他磁共振序列的图像作为参考模态，以指导目标模态的重建。通过交叉注意力机制实现信息的有效传递。3.为了增强模型的特征提取能力，在图像域和 k 空间域分别使用视觉变换器和卷积神经网络，克服了CNN偏爱局部特征的不足。通过以上三点，本方法在多个数据集上均实现了最优的表现。

图 提出的基于卷积与视觉变换器的联合交叉注意力网络的MRI重建模型

论文链接：

https://doi.org/10.1109/TMI.2023.3314008

2、开发基于Transformer的跨模态磁共振成像技术

生医工学院沈定刚团队提出了一种基于Transformer模型的跨模态磁共振图像生成模型，有效解决了MRI模态缺失问题。磁共振成像 (MRI) 中的模态缺失问题限制了脑疾病诊断的效果，因此，开发能从现有模态生成缺失模态的人工智能模型对于提高MRI诊断的临床价值至关重要。团队提出了基于Transformer的磁共振图像跨模态生成模型，引入了一个额外的预训练阶段，使用已有的多模态磁共振图像进行Transformer模型的预训练，提升模型的特征提取能力。定性与定量实验验证了该模型使用70%的成对数据训练时，图像质量与已有的模型使用100%成对数据训练时的效果近似。

图 提出的基于Transformer模型的磁共振图像跨模态生成模型

论文链接：

https://doi.org/10.1109/TMI.2023.3288001

3、开发从全景X光图像重建三维牙齿模型的新方法

在数字牙科领域，获取包含牙冠和牙根的完整三维牙齿模型对于临床诊断和正畸治疗规划至关重要。CBCT能提供详细的三维口腔数据，但其高辐射和成本限制了频繁使用，与之相比，利用二维全景X射线图像重建三维牙齿模型更具成本效益，在临床应用中有着可期的前景。生医工学院沈定刚团队提出了一种新颖的双空间框架“DTR-Net”，用于同时在图像和几何空间中从二维全景 X 射线图像重建三维牙齿模型，最终融合双空间的牙齿形状表示得到三维牙齿模型。实验表明，研究团队提出的DTR-Net在三维牙齿模型重建任务中取得了最优的性能表现。

图 DTR-Net网络框架图

论文链接：https://doi.org/10.1109/TMI.2023.3313795

4、采用基于人工智能的乳腺背景实质强化(Background Parenchymal Enhancement，BPE) 定量计算

为提高乳腺背景实质强化（BPE）在临床诊断中的准确性和客观性，生医工沈定刚团队提出了一种基于人工智能的乳腺腺体自动分割算法。该算法结合阈值处理快速计算BPE比例，克服了传统凭经验估计的主观性和耗时问题。鉴于完整标注的乳腺数据稀缺，研究团队采用了迭代的循环一致性半监督分割方法，利用未标注的造影前/后图像，提升了分割性能。此外，团队研发的重建网络学习造影前后图像的映射以指导分割，通过迭代式半监督学习进一步增强数据，确保分割结果一致性。实验结果显示，所提方法在精确度和速度上显著超越其他先进方法及临床医生，展示了自动化定量BPE分析的潜力。研究还探讨了BPE与乳腺癌临床因素如雌激素受体（ER）、孕激素受体（PR）、人体表皮生长因子（HER2）的相关性，这为理解乳腺癌发展提供了新的见解。

图 基于迭代的循环一致性半监督分割框架

论文链接：

https://doi.org/10.1109/TMI.2023.3319646

5、探索基于图神经网络的乳腺癌病理图像分类

生医工学院沈定刚团队提出了一种基于图神经网络的乳腺癌病理图像分类模型，通过图神经网络捕捉图像块间的相关性，并在半监督预训练的辅助下进行64个图像块的4分类任务。病理图像分析是乳腺癌诊断的标准方法，而现有AI系统通过切分高分辨率的全切片图像为单独块进行分类，忽略了图像块间的关联性，限制了精度。此外，全切片乳腺癌病理图像的高质量标注十分缺乏，进一步挑战了自动诊断系统的发展。为了解决这些问题，团队提出了一种基于图神经网络的乳腺癌病理图像分类模型，使用图神经网络对图像块之间的关联信息进行建模，并同时进行64个图像块的4分类任务，将其分为正常、良性病变、原位癌或者浸润性癌。实验数据来自云南肿瘤医院，以及公开的BACH数据集。针对BACH数据集标注少，质量低的不足，云南肿瘤医院的病理医生对BACH中的病理图像进行了重新标注，显著提升了标注质量，从而提高了模型的鲁棒性。

图 提出的基于图神经网络的乳腺癌病理图像分类模型

论文链接：

https://doi.org/10.1109/TMI.2023.3317132

一种共享背衬结构的微型双频血管内超声成像探头

生医工学院彭畅团队在仪器仪表领域知名期刊Biosensors上发表研究论文，报道了一种采用共享背衬结构的双频（30 MHz/80 MHz）血管内超声成像探头。由于该探头内的双频超声换能器采用共享一个背衬的结构，并且利用一根同轴电线连接上述双频超声换能器，不仅血管内超声成像探头的尺寸能够大大减小而且加工工艺也得到了简化，为双频血管内超声成像探头的临床应用提供了一种重要的解决方案。该项研究成果已申请发明专利一项。

图 共享背衬结构的双频血管内超声成像探头及猪冠脉血管内超声成像结果

论文链接：

https://doi.org/10.3390/bios13110971

一种高效的自由呼吸心肌多参数定量技术（FB-MultiMap）

生医工学院齐海坤团队开发了一种高效的自由呼吸心肌多参数定量技术（FB-MultiMap），解决了现有技术需要连续屏气、采集效率低、易受心率影响等缺陷。研究结果表明，FB-MultiMap能够在自由呼吸下，一次扫描同时得到心肌的T1、T2和T1ρ值，并且具备B1+校正功能，在临床中具有巨大潜力。相关成果发表于心血管磁共振成像领域核心期刊Journal of Cardiovascular Magnetic Resonance。

该技术已在仿体、健康受试和患有不同心脏疾病的病人中进行了验证。在仿体实验和在体实验中，FB-MultiMap均展现了良好的定量准确度和与传统技术相当的图像质量；而多例心肌疾病患者的定量结果表明，FB-MultiMap在检测T1、T2和T1ρ的病理变化方面具有良好的效果。由于高效的自由呼吸采集和简单的后处理过程，FB-MultiMap在临床应用中具有较大潜力。目前该工作已申请了发明专利。

图 自由呼吸心肌多参数同时定量（FB-MultiMap）技术的序列示意图和后处理流程图

论文链接：

https://doi.org/10.1186/s12968-023-00973-6

 请关注微信公众号 

上科大科技发展