DeepLink桥接新兴算力，书生覆盖全能生成

11月26日，第三届算力网络与数字经济论坛暨2024年“算力浦江”总结大会在上海举行。会上，上海人工智能实验室（上海AI实验室）发布了开放计算及通专融合大模型的最新成果：首次在大模型训练中实现了全面由国产新兴算力异构互联技术支撑，完整训练出全能多模态生成大模型——书生·若明（InternLumina）。

发挥原创算法及AI软硬件深度互联技术优势，上海AI实验室联合无问芯穹、天数智芯、沐曦科技及算丰信息等新兴算力提供方开展跨域异构互联技术探索，实现了异构混训技术新突破：实验结果表明，书生·若明在新兴算力组成的异构集群中混训效率达97.5%，计算效率较未优化前提升1.6倍。

书生·若明的能力范围涵盖覆盖多轮对话、视觉理解、可控生成、多轮编辑等多模态生成任务，可精准应对实际应用场景中的复杂挑战。在生成技术领域，上海AI实验室研究团队通过打造协同发展的算法框架，在兼具通用生成能力和专业泛化能力的“通专融合”技术路径上更进一步。

会上还发布了由上海市通信管理局的指导，实验室联合中国电信等机构主导制定的《智算中心能力验收规范》团体标准。以DeepLink人工智能开放计算体系为载体，上海AI实验室将持续推动人工智能软硬件深度耦合，与行业伙伴共同推动新兴算力高效应用与AI基础设施建设。

《智算中心能力验收规范》团体标准：https://www.ttbz.org.cn/StandardManage/Detail/117771

全能生成：精准应对复杂挑战

书生·若明能力范围涵盖多轮对话、视觉理解、可控生成、多轮编辑等多项任务。以多语种多粒度图像理解器、扩散图像生成模型、扩散视频生成模型、多任务全能生成模型为基座，构筑起“全能”多模态生成模型。

多项基座模型，构筑“全能生成” 

• 图像理解器支持中英双语，支持高分辨率及任意分辨率的内容标注，用户可灵活定义从简单标签到长文本描述的多粒度内容理解方式，为其它任务构建坚实的基础；

• 图像生成模型针对中文社区AI创作的痛点，用户可通过中英双语生成多文化、多领域、多风格的高质量图像；

• 扩散视频生成模型可支持任意时长、任意分辨率、多种风格的视频生成；

• 全能生成模型全面涵盖多轮对话、视觉理解、可控生成、多轮编辑等多种任务，为多领域的智能生成提供强大的技术支撑。

为实现多模态、多任务、全能生成的研究目标，上海AI实验室研究团队引入指令交互式“理解-联想”机制及强化理解方法，使生成过程有序可控，生成效果“更靠谱”。基于指令交互式“理解-联想”机制，可为用户提供细粒度可控的创作手段，生成包括中国传统文化特征在内的多样化对话、图片、视频，从而赋能海报、动漫等设计创作，服务现实生活中的不同应用需求。

遵循“强化理解”理念，研究团队为书生·若明定制开发了多语种多粒度超清分辨率图像理解器，打造输入内容的高效解析和生成语义基础。打标器适用于中英文双语，支持任意分辨率的内容标注，适应多样化场景理解，用户可灵活定义从单次标签到长文本描述的内容理解方式，解构复杂数据，确保了生成内容的精准度和丰富度，有效降低了生成模型中的“幻觉”现象，实现了“理解-生成”的协同演进。

异构混训：验证新兴算力跨域协同潜能

书生·若明作为首个基于新兴算力的异构混训多模态大模型，进一步突破了跨域异构互联技术的性能边界。

在计算资源有限的前提下，通过跨域异构互联，可实现不同算力性能的芯片自由组合，而无需依赖单一高算力芯片“抱团”；同时，不同算力集群可通过组合实现规模增效。通过异构互联，还可以降低不同算力厂商的硬件壁垒，促进生态繁荣。

然而，长期以来，由于硬件厂商之间的闭源性，芯片运行驱动、计算软件和上层框架不兼容，不同硬件间通信效率低下等问题，导致算力应用方难以同时调用两种以上的芯片进行计算，严重限制了算力使用效率。

以DeepLink人工智能开放计算体系为载体，上海AI实验室联合无问芯穹、天数智芯、沐曦科技及算丰信息等新兴算力供应方，首次成功实现了全面由新兴算力支撑的大模型混训。实验结果验证，在全新技术方案下，书生·若明在新兴算力组成的异构集群中，混训效率达97.5%，计算效率较未优化前提升1.6倍。

在异构芯片基础上，Deeplink团队基于现有通信协议构建适配层，协调不同硬件厂商以RDMA（Remote Direct Memory Access，远程直接内存访问）或CPU中转的方式达成异构芯片之间的互联通信，突破了异构芯片的闭源不兼容问题。

针对并行策略，Deeplink则使用自研InternEvo分布式并行框架，以更细粒度的拆分方式，解决了异构芯片差异性带来的负载均衡和计算阻塞问题。同时，还开发出异构情况下的通信感知、计算通信并行等加速模块，大幅提升异构集群计算性能。

DeepLink助力异构新兴算力高效互联

为推动更繁荣的人工智能软硬件生态，上海AI实验室积极主导标准建设。会上发布的《智算中心能力验收规范》团体标准定义了智算中心验收环节应满足的多项能力要求，适用于对智算中心在算力、存力、通信能力及应用场景支持能力等方面的评估验收，为国内算力中心建设提供了可行性标准指引。