上海AI实验室升级发布“浦医2.0”，实现医疗大模型群一站式开源

医疗多模态基础模型群“浦医”（OpenMEDLab）迎来重磅升级。

近日，在“2023健康中国思南峰会”上，上海人工智能实验室（上海AI实验室）与上海交通大学医学院附属瑞金医院等合作伙伴联合发布医疗多模态基础模型群“浦医2.0”（OpenMEDLab2.0），旨在为“跨领域、跨疾病、跨模态”的AI医疗应用提供能力支持。

今年6月，由上海AI实验室牵头，联合国内外顶级科研机构、高校及医院共同发布并开源了浦医医疗基础模型群。目前，浦医正赋能各合作医疗机构智能影像诊断、数字病理科建设、数字人虚拟手术、智慧临床决策、创新医学科研五大应用场景建设，为打造人工智能时代“未来医院”提供底层支撑。

开源链接：

https://github.com/OpenMEDLab（点击阅读原文获取）

上海AI实验室主任助理乔宇（右一）与上海交通大学医学院附属瑞金医院副院长胡伟国（中）共同发布浦医2.0

模型群扩容：新增多领域模型，语言参数增量

浦医首批基础模型群中，已涵盖医学图像、医学文本、生物信息、蛋白质工程等10余种数据模态，其中，在图像模型方面，可针对放射影像、病理图像、内镜、超声等不同影像模态，实现高精度的检测、分割、分类等任务。

升级的2.0版本中，基础模型群加入了众多最新研究成果：英国伦敦大学学院（UCL）团队牵头提出的眼科视网膜首个基础模型RETFound（Nature 622，156-163，2023）、西安交通大学团队牵头提出的神经学图像大模型D-LMBmap（Nature Methods 20，1593-1604，2023），为医学图像分析提供了全新的解决思路与应用工具；电子科技大学团队牵头提出的三维医学图像分割基础模型MIS-FM，有效提高了众多小样本长尾疾病的图像分割性能；上海人工智能实验室牵头提出的交互式分割基础模型SAM-Med3D，加速了医疗数据和模型的生产与迭代。

浦医2.0中的医疗基础模型涵盖病理、超声、CT、MR、心电等多个医疗领域

在医疗语言模型方面，基于书生·浦语（InternLM），浦医2.0将中文医疗大语言模型PULSE的参数规模扩展至200亿（PULSE-20B），具备更强大的文本理解与长文本数据处理能力。多项医疗数据集的评测结果显示，PULSE-20B性能综合领先同类医疗大语言模型。

数据集上新：460万张医学图像，涵盖分割与病理

浦医2.0新增5个开源数据集，其中包括目前规模最大的医学图像分割数据集SA-Med2D-20M。该数据集由上海AI实验室与四川大学联合团队推出，拥有460万张医学图像及1970万个相应的掩膜，涵盖了10种模态、31个主要器官和219个类别标签，几乎覆盖人体所有部位，具备显著的数据多样性。
SA-Med2D-20M 数据集由460万张医学图像和1970万个相应的掩膜组成同时，浦医2.0还收录了上海AI实验室联合团队开源的病理数据集SNOW（Synthetic Nuclei and annOtation Wizard）。SNOW是用于乳腺癌分割的大规模合成病理学数据集，由深度学习驱动，包含2万个虚拟图像片区和近145万个带有标注的细胞核。该数据集扩展了当前病理图像细胞核分析的数据规模，能基于合成数据生成，迅速满足模型在不同阶段的多样性数据需求。Synthetic Nuclei and annOtation Wizard （SNOW）数据集在计算病理学中为合成数据生成、筛选和注释提供了一种经济高效的手段

评测模块加入：多维基准，提供医疗模型能力参考

浦医2.0版本新增了评测模块，运用多维度基准为医学大模型提供准确客观的能力参考。
在医学图像分割方面，浦医2.0引入用于跨数据集评估腹部多器官分割的基准A-Eval。A-Eval采用多个在学术领域常用的医学图像分割数据集，并建立了跨数据集的评测体系，重点关注多样化的数据使用场景，从而实现对模型实际泛化能力的有效评测。基于细分领域临床实践中存在众多小样本甚至零样本场景，浦医2.0还支持少样本下的模型性能评测，以2023医学图像分析基础模型应用挑战赛（NeurIPS 2023·MedFM）的测试集及对应的评价指标作为评测标准。该挑战赛由上海AI实验室与海内外高校以及国内顶尖医院联合主办，旨在助推学术界及产业界探索预训练基础模型在医学图像分析中的应用范式，吸引了来自约翰斯霍普金斯大学、北京大学等全球知名高校超过500支队伍参赛，集纳了大量小样本背景下将大模型应用于医学图像分类任务的优质方法。

上海AI实验室与海内外高校以及国内顶尖医院联合主办的NeurIPS 2023·MedFM挑战赛吸引了来自全球知名高校的超过500支队伍参赛

在医疗大语言模型评测方面，上海AI实验室联合瑞金医院推出的评测体系MedBench，围绕医学知识问答、医学语言生成、复杂医学推理、医学语言理解和医学伦理安全等五大核心评测维度，覆盖医学考试、导诊、专科问答、鉴别诊断、治疗方案制定、电子病历生成以及医学伦理等关键医学任务，集成了9个公开评测数据集和11个私有评测数据集，总计达29万个数据点。

上海AI实验室联手瑞金医院搭建的MedBench平台, 检验大语言模型在医学领域的应用能力

此次发布的浦医2.0，实现了医疗大模型群“产、学、研、用、评”一站式开源，上海AI实验室智慧医疗研究中心主任张少霆表示：“未来，实验室将继续携手合作机构，持续推进开源与更新，推动人工智能在医疗领域更广泛的落地应用，让大模型更好地赋能医生、服务患者。”

---

关于“OpenMEDLab浦医”
“OpenMEDLab浦医”是全球首个医疗多模态基础模型群，由上海AI实验室作为牵头单位，联合多个国内外组织共同发布。参与成员包括广州实验室、之江实验室等科研机构，上海交通大学、复旦大学、电子科技大学、华东理工大学、北京邮电大学、美国罗格斯大学、加拿大英属哥伦比亚大学、香港中文大学等高校，以及上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、郑州大学第一附属医院等医疗机构。