斯坦福大学“全球前2％顶尖科学家”带你探究语音与音频生成的未来趋势

追踪社会热点，解读 AI 前沿，用开源的算法，促进 AI 知识渗透，以超算/高性能计算为原点，开启人工智能前沿应用视角。OpenMMLab 开源社区 联合北京超级云计算中心，共同发布直播栏目【AI 奇妙夜】，每月一期周四晚八点，陪大家一同打开 AI 领域的奇妙之门。

本期精彩

生成式人工智能 （AIGC）成为人工智能技术发展的新趋势，ChatGPT、Stable Diffusion、MidJourney 为代表的文字、图像应用成为技术圈甚至大众讨论的热门话题。AI 孙燕姿、音效生成、音乐生成也在 2023 年获得的关注。

本次 AI 奇妙夜，我们非常荣幸地邀请到武执政教授，他将从常见的语音、音频生成任务开始，介绍语音合成、语音转换、歌声转换、音效生成等主流语音与音频生成任务以及这些任务中当前的 State-of-the-art 方法。

同时，他也将为我们分享近期开源的一个语音、音频及音乐生成开源框架 Amphion，介绍其独有的可视化功能如何帮助初级研究人员和工程师更好地理解相关模型，从而协助初级研究人员和工程师在音频、音乐和语音生成等方面实现可持续的研究与开发。

Amphion 的目标是一个综合的音频生成平台。该项目计划涵盖多种经典的音频生成任务，如语音合成、语音转换、歌声合成、歌声转换、音效生成、音乐生成、语音增强，以及多元的 AIGC 音频任务，诸如多模态控制的音效生成和音乐生成。

分享内容

• 语音与音频生成的常见任务与方法

• 语音与音频生成最新研究趋势

• Amphion：一个语音、音频与音乐生成开源系统

分享时间

北京时间

2024 年 1 月 11 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

分享嘉宾

武执政博士

现任香港中文大学（深圳）副教授。入选国家级青年人才，连续多次入选斯坦福大学“全球前 2％ 顶尖科学家”、爱思唯尔“中国高被引学者”榜单。他于 2015 年获得南洋理工大学博士学位，并在 Meta（原 Facebook）、京东、苹果、爱丁堡大学、微软亚洲研究院等机构从事学术研究和技术领导工作。武博士带领开发了语音合成开源系统 Merlin，发起并组织了第一届声纹识别欺骗检测国际评测、第一届语音转换国际评测，组织了 2019 年语音合成国际评测（Blizzard Challenge 2019）。曾获得 INTERSPEECH 2016 最佳学生论文奖、2012 年亚太信号与信息处理协会年度峰会最佳论文奖。武博士现为 IEEE 语音与语言处理技术委员会委员，语音领域权威期刊 IEEE/ACM Transactions on Audio, Speech and Language Processing 的Associate Editor, IEEE Spoken Language Technology Workshop 2024 的大会主席。他曾受邀在 ICASSP、IJCAI 2023 DADA Workshop 等权威学术会议做特邀报告。

相关资料

Amphion:

https://github.com/open-mmlab/Amphion

Amphion: An Open-Source Audio, Music and Speech Generation Toolkit 

https://arxiv.org/abs/2312.09911

Leveraging Content-based Features from Multiple Acoustic Models for Singing Voice Conversion

https://arxiv.org/abs/2310.11160

AUDIT: Audio Editing by Following Instructions with Latent Diffusion Models

https://arxiv.org/abs/2304.00830

互动有奖

观看直播即可参与抽奖互动，免费领取 500 元卡时计算资源。

直播期间，在 OpenMMLab 视频号、B 站或北京超算视频号、B 站参与弹幕讨论，小助手将在各平台抽取 2 名同学送出 OpenMMLab 精美周边 1 份【添加小助手：OpenMMLabwx，领取奖品】。

交流群

同时为了方便大家交流沟通，我们还建立了以【Amphion 交流群】为主题的社群，直播相关的所有资料都将在群里分享，还能与大佬 1v1，赶紧扫码加入我们吧~

往期回顾

上期开放麦，我们邀请到爱獭科技创始人、GitHub 10k+ Stars 项目 Chat2DB、 30k Stars 项目 Easyexcel 发起人姬朋飞为大家分享 AI 时代的数据应用！

感兴趣的同学，可以通过直播回放学习一下哦~