汉语言脑机接口新突破：复旦/上科大/天大联合团队从“意念”合成汉语语音
北京时间2023年6月10日，研究成果以“Decoding and synthesizing tonal language speech from brain activity”《从大脑活动中解码及合成声调语言语音》为题发表于Science子刊Science Advances。
研究团队在定位和保护语言功能的同时通过高密度皮层脑电技术（时间分辨率为ms，空间分辨率为3-4mm）记录了受试者朗读“mā、má、mǎ、mà、mī、mí、mǐ、mì”时言语产生和构音相关脑区的神经活动，通过分析高频神经活动（70Hz-150Hz）的时空特征，发现大脑产生汉语声调的神经响应与其他构音的神经响应具有显著的时空差异。根据声调神经活动的独特时空特征，研究团队开发了适用于汉语的多流神经网络模型，对声调分离电极及音节分离电极分别进行并行解码（图1）。通过上述方式，研究团队实现单被试最高声调音节平均分类正确率达到76%，单字解码分类正确率达到91%（随机基线为12.5%）（图2）。
图1. 研究范式及深度学习框架
图2. 声调音节解码正确率
随后，研究团队利用汉语声调的五度标记法对分类的结果进行标记，并与其他构音特征信息流合并，最终实现端到端的带声调汉语语音合成。接下来，研究团队分别通过客观和主观两种方式对声音的合成质量进行了定量评价。在客观指标上引入梅尔频谱失真度（Mel cepstral distortion, MCD），发现所有被试的合成声音平均失真度（MCD）均在2.53dB至3.20dB之间（图3B），远低于机器语音识别系统公认的可识别上限8dB（超过8dB代表机器语音无法识别）。此外，研究团队还招募了31名志愿者对合成的声音进行主观听测，所有被试的声调听测准确率在81.7%至92.3%之间（图3C）。研究团队还进一步引入了国际电联提出的用于评估语音质量的“平均主观得分（Mean Opinion Scale, MOS）”，由独立招募的志愿者群体对语音质量进行主观评价打分，最终得到合成声调语音的MOS平均分为3.86分（图3E），这意味着合成的声调语音基本达到了“只需要一点注意力即可听清“的水平。
图3. 合成声音的客观及主观评价
本研究首次实现了基于颅内脑电的汉语声调语言端到端解码及语音合成，为未来“植入式汉语言脑机接口”提供了以神经解剖及电生理特性为基础和启发的特征工程分析处理方案，并提出了一种可被推广借鉴的深度学习框架，为最终实现汉语语言脑机接口奠定了理论和技术基础。
复旦大学附属华山医院吴劲松教授、路俊锋副主任医师、上海科技大学李远宁研究员为论文的通讯作者，复旦大学附属华山医院神经外科博士研究生刘衍、赵泽昊及天津大学许敏鹏教授为论文的共同第一作者。本研究得到了复旦大学附属华山医院神经外科周良辅院士、毛颖院长的直接领导和大力支持，同时也得到了麻醉科王英伟主任、车薛华教授、邓萌教授、彭悦蓉、平易、曹莉等、护理部赖兰护士长、吴秋月护士长、王烨、陈颖帅等、电生理团队马耐耐等、导航团队李振宇等的帮助和支持。本研究同时得到了国家科技创新2030-“脑科学与类脑研究”重大项目（青年）、上海市“脑与类脑智能基础转化应用研究”市级科技重大专项以及上海市教育委员会科研创新计划重大项目、上海市浦江人才计划等的支持。
通讯作者简介
吴劲松 教授
复旦大学附属华山医院
医学博士，主任医师
复旦大学教授，复旦大学博士研究生导师，上海市卫生系统优秀学科带头人
复旦大学附属华山医院神经外科副主任（科研）
复旦大学神经外科研究所副所长
复旦大学附属华山医院生物样本库主任
国家神经疾病医学中心脑胶质瘤专业组长
复旦大学附属华山医院伦理委员会委员
上海市抗癌协会常务理事，兼神经肿瘤专业委员会主任委员
中国抗癌协会神经肿瘤专业委员会副主任委员，兼脑胶质瘤学组组长
中国神经科学学会脑机接口与交互分会副主任委员
中国研究型医院学会精准神经外科委员会副主任委员
中国抗癌协会肿瘤样本整合研究分会常务委员
上海市神经科学学会理事
上海脑科学与类脑研究中心专家组专家
ASNO科学委员会委员
WFNS教育委员会委员
上海市浦东新区政协委员
上海市侨界知识分子联谊会第九届理事会常务理事
识别二维码，前往吴劲松 教授学术主页
查看更多精彩内容
路俊锋 副主任医师
复旦大学附属华山医院
复旦大学附属华山医院神经外科副主任医师，博士生导师
复旦大学神经外科研究所脑功能实验室副主任
科技创新2030-“脑科学与类脑研究”重大项目青年科学家
上海市神经科学学会理事
中国研究型学会神经电生理专委会委员
上海市浦江人才
上海市卫生系统优秀青年医学人才
上海市青年科技启明星
在Nature Human Behaviour、Nature Communications、Brain等杂志围绕汉语语言功能保护和机制发表系列工作
识别二维码，前往路俊锋 副主任医师学术主页
查看更多精彩内容
李远宁 研究员
上海科技大学
上海科技大学，研究员、助理教授、博士生导师
计算认知与转化神经科学实验室主任
卡内基梅隆大学神经计算与机器学习博士，加州大学旧金山分校神经外科博士后
曾获NIH 神经科学杰出学者奖、国家高层次人才（海外）、上海市领军人才（海外）、上海市浦江人才
代表性成果发表在Nature Communications, PNAS等期刊
声明：脑医汇旗下神外资讯、神介资讯、脑医咨询、AiBrain所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。未经许可，禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用，亦须注明来源。欢迎转发、分享。
投稿/会议发布，请联系400-888-2526转3
脑医汇App（原神外资讯/神介资讯App）“短视频”功能全新上线，碎片化时间学习内容，点击“阅读原文”抢先体验！
点分享
点收藏
点点赞
点在看