【前沿】全球首个！自动化所研发图文音三模态预训练模型
The following article is from 中国科学院自动化研究所 Author 紫冬君
“紫东太初”图文音三模态预训练模型全球首个
7月9日，中国科学院自动化研究所所长徐波在2021世界人工智能大会(WAIC2021)上就人工智能的最新进展进行报告，发布了自动化所研发的跨模态通用人工智能平台——"紫东太初"。"紫东太初"跨模态通用人工智能平台以多模态大模型为核心，基于全栈国产化基础软硬件平台，可支撑全场景AI应用。
多模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能路径的探索。自动化所"紫东太初"跨模态通用人工智能平台瞄准成为实现通用人工智能的开天之斧，在智能世界混沌初开之际开辟新局。
依托面向超大规模的高效分布式训练框架，自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型，并开拓性地通过跨模态语义关联实现了视觉-文本-语音三模态统一表示，构建了三模态预训练大模型，赋予跨模态通用人工智能平台多种核心能力。
"紫东太初"兼具跨模态理解和生成能力。与单模态和图文两模态相比，其采用一个大模型就可以灵活支撑图-文-音全场景AI应用，具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。引入语音模态后的多模态预训练模型，可实现共性图文音语义空间表征和利用，并突破性地直接实现三模态的统一表示。特别地首次使"以图生音"和"以音生图"成为现实，对更广泛、更多样的下游任务提供模型基础支撑，达成AI在如视频配音、语音播报、标题摘要、海报创作等更多元场景的应用。
此外，自动化所研发团队还提出了弱关联三模态数据的语义统一表达，可同时支持三种或任两种模态弱关联数据进行预训练，有效降低了多模态数据收集与清洗成本。
总结来说，此跨模态通用人工智能平台包括三大关键技术和六大核心能力。三大关键技术为多模态理解与生成的多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化。六大核心能力则体现为多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学习、模型适配与分布式训练、模型轻量化与推理加速。
会上，徐波所长展示了基于"紫东太初"平台打造的虚拟人"小初"，并进行通用多模态大模型的人机对话演示，展示了不同模态间的互相转换和生成实例，涵盖视频描述、智能问答、图像检索、吟诗作赋、中文续写、双语翻译、语音识别等多个功能。生动证明，通过图文音三模态的关联与协同可以有效地提升机器的理解和生成能力，让AI接近人类想象力！
人机对话演示
多模态大模型具备对丰富图文音的理解能力，与单模态的GPT3不同，交流更加生动自然流畅
徐波表示，"大数据+大模型+多模态"将改变当前单一模型对应单一任务的人工智能研发范式，多模态大模型将成为不同领域的共性平台技术，是迈向通用人工智能路径的探索，具有广阔的应用前景。同时，全栈国产化通用人工智能平台的实践将使人工智能研发的规则发生重大变革并逐渐形成壁垒，对我国实现AI领域科技创新、占领核心技术高地具有重要的战略意义。
日前，中科院自动化所提出了全球首个图文音(视觉-文本-语音)三模态预训练模型(OPT-Omni-Perception pre-Trainer)，该模型不仅可实现跨模态理解(比如图像识别、语音识别等任务)，也能完成跨模态生成(比如从文本生成图像、从图像生成文本、语音生成图像等任务)。三模态预训练模型的提出将改变当前单一模型对应单一任务的人工智研发范式，三模态图文音的统一语义表达将大幅提升文本、语音、图像和视频等领域的基础任务性能，并在多模态内容的理解、搜索、推荐和问答，语音识别和合成，人机交互和无人驾驶等商业应用中具有潜力巨大的市场价值。
特别推荐
重磅 | 全球计算机领域Top1000期刊 & 科学家榜单发布@全体科研人，"十四五"规划圈出了攻关重点！直播回放 | 公茂果主讲：深度神经网络的结构优化
回放 & PPT | 澳科学院院士Brian Anderson最新报告
IJAC 2020高被引论文 & 优秀审稿人重磅 | 2021年国际学术会议参考列表
全球前列！IJAC"世界期刊影响力指数(WJCI)"喜人
最新 | 《2020全球工程前沿》全文
最新 | 2020研究前沿及热点解读
好文聚焦
毋立芳团队 | 综述：视频中的群体行为识别
基于神经架构搜索技术(NAS)的2D&3D掌纹和掌静脉识别
张笑钦团队 | 综述：基于深度学习的视觉跟踪方法进展
基于机器学习探秘神经科学，解码思想、记忆、情绪......必读 | 10篇最新AI好文
高效+高精度 | 汽车尾气排放趋势预测新框架
综述 | 进化计算在大规模多目标优化问题中的进展公茂果团队 | 综述：计算智能在遥感图像配准中的应用新模型！模拟人眼预测图像质量，失真也不怕新兴技术 | 经典CNN对2D&3D掌纹及掌静脉识别的性能评估
点击"阅读原文"了解更多“紫东太初”