具有超分辨率GAN Plus的微调孪生网络——改善低质量胸片质量以用于COVID-19识别 | MDPI Diagnostics
点击左上角"MDPI开放数字出版"关注我们，为您推送更多最新资讯。
自 2020 年 1 月上旬以来，冠状病毒病已在全球迅速传播。有数百万人死亡，因此使用自动化系统来帮助临床诊断并减少图像分析所消耗的时间至关重要。本文介绍了一种基于生成式对抗网络 (Generative Adversarial Network，GAN) 的深度学习应用程序，应用于低分辨率 (Low-Resolution，LR) 胸部X射线 (CXR) 图像中高分辨率 (High-Resolution, HR) CXR 图像的精准恢复，以进行 COVID-19 识别。通过GAN构建块的使用，引入经过修改的增强版超分辨率生成式对抗网络plus (MESRGAN+)。MESRGAN+可以通过与低分辨率输入图像的连接非线性映射，生成去模糊和去噪的 HR 图像。不同于当下研究趋势的网络复杂性和高计算成本，本研究将增强的 VGG19 微调孪生网络与小波池化策略相结合，以提取用于 COVID-19 识别的不同特征。在未来，这个新的概念很可能在 COVID-19 检查和其他疾病的诊治方面发挥重要作用。
研究过程与结果
本研究建立了 COVID-SRSNet 识别架构， COVID-SRSNet 的整体示意图如图 2所示由两个不同的流程组成。在超分辨率操作之前，采用图像自适应缩放模块作为预处理技术，将图像分辨率的异构维度带到预定义的分辨率 224 × 224 × 3，然后将它们传递给称为 Modified Enhanced Super Resolution GAN Plus (MESRGAN+) 的超分辨率网络。MESRGAN+ 用于将低分辨率图像转换为高分辨率图像并消除压缩伪影。最后，将重建的 HR 图像传递给带有小波池的增强型微调孪生模型 (ESFMWP) 算法，从而获得用于识别 COVID-19 的判别特征。为实现简化，我们将 MESRGAN+ 和 ESFMWP 的组合框架称为 COVID-SRSNet。
图 1. 本文提出的改进后的 ESRGAN+ 和孪生卷积神经网络。
与目前其他最先进的模型 (SRGAN、ESRGAN 和 ERSGAN+) 相比，本文提出的超分辨率 MESRGAN+ 在峰值信噪比(PSNR) 和感知指数 (PI) 的比较中，都显示出了最优的性能结果 (图4)。MESRGAN+ 可以通过扩展残差块的生成结构的卷积层和去除批量归一化来生成更合适的图像、去除伪影并提高提取特征的清晰度。
图 2. 本研究提出的 MESRGAN+ 和其他选定的 SOTA 模型与相同数据集的比较结果。左侧代表 PI 值，右侧代表 PSNR。
除此之外，本文提出的用于 COVID-19 识别的 COVID-SRSNet 模型产生了在收集的 CXR 图像数据集上评估的最佳结果。该模型与其他最先进的模型（包括一些选定的预训练模型）相比取得了可喜的结果，可以帮助放射科医生对抗 COVID-19，特别是在提高诊断结果的灵敏度方面。本文提出的网络在的二分类任务中实现了 99.7% 的识别准确率、98.9% 的精度、98.7% 的灵敏度、99.3% 的特异性、98.2% 的 F1 分数和 99.7% 的 AUC。对于多分类任务，我们的模型实现了 98.8% 的准确度、98.6% 的精确度、97.5% 的灵敏度、98.9% 的特异性、97.8% 的 F1 分数和 98.8% 的 AUC。
研究总结
本研究提出了一种增强型微调孪生网络模型，该模型具有小波池化策略和改进的增强型超分辨率 GAN plus，统称为 COVID-SRSNet，用于 COVID-19 识别框架，旨在解决 COVID-19 CXR 图像识别中的低质量问题。该模型通过图像缩放自适应模块来解决分辨率变化的困境，同时采用改进的增强型超分辨率生成式对抗网络 plus (MESRGAN+)。然后，将生成的超分辨率图像传递给具有小波池 (ESFMWP) 的增强型连体微调模型，以学习 COVID-19 识别任务的独特特征。本研究证明，该模型可以创建更合理和真实的图像，并为 COVID-19 识别捕获不同的特征。与目前最新的 COVID-19 诊断技术和一些预训练模型相比，本文提出的方法在各个性能上有了很大程度的提高。
识别二维码
阅读英文原文
原文出自 Diagnostics 期刊
Nneji, G.U.; Cai, J.; Monday, H.N.; Hossin, M.A.; Nahar, S.; Mgbejime, G.T.; Deng, J. Fine-Tuned Siamese Network with Modified Enhanced Super-Resolution GAN Plus Based on Low-Quality Chest X-ray Images for COVID-19 Identification.
Diagnostics2022, 12, 717.
Diagnostics期刊介绍
主编：Prof. Dr. Andreas Kjaer，University of Copenhagen, Denmark
期刊主题涵盖医学诊断各个方面，包括但不限于医学影像学，病理和分子诊断学，传染病诊断，即时诊断技术与设备，光学诊断技术与设备，机器学习与人工智能诊断技术等。目前期刊已被 SCIE、PubMed、Scopus 等数据库收录。
2021 Impact Factor | 3.992 |
2021 CiteScore | 2.4 |
Time to First Decision | 15.9 Days |
Time to Publication | 35 days |
识别二维码，
订阅Diagnostics 期刊最新资讯。
往期回顾
MDPI生物与生命科学
聚焦前沿学术，探索生物及生命科学的奥秘。
MDPI工程科学
MDPI 工程科学类学科平台，分享前沿科学进展。
MDPI化学材料
汇集MDPI化学材料领域前沿研究成果。
视频号
扫码关注
MDPI开放数字出版视频号
版权声明：
*本文内容由MDPI中国办公室编辑负责撰写，一切内容请以英文原版为准。如需转载，请于公众号后台留言咨询。
由于微信订阅号推送规则更新，建议您将“MDPI开放数字出版”设为星标，便可在消息栏中便捷地找到我们，及时了解最新开放出版动态资讯！
点击左下方“阅读原文”，免费阅读英文原文。
期待您的“三连击”☞【分享，点赞，转发】