将脑活动转化为语音 | Nature论文

本周《自然》发表的一篇论文Speech synthesis from neural decoding of spoken sentences报告了一种可以将脑活动转化为语音的解码器。

合成语音的脑机接口。

Chethan Pandarinath & Yahia H. Ali

许多患有神经疾病的病人丧失了语言能力，需要依赖特定的通讯设备进行沟通，这类设备利用脑机接口或者头部/眼睛的非言语动作来控制光标选择字母，说出他们想说的话。但是，这个过程远远慢于正常的人类说话速度。

利用说出句子的神经解码合成语音

Anumanchipalli et al.

美国加州大学旧金山分校的Edward Chang及同事利用与人类下颌、喉头、嘴唇和舌头动作相关的脑信号，开发出了一种人类语音合成系统。首先，他们在5名被试大声说出几百个句子时，记录下他们的大脑皮层活动，然后据此设计了一种能够解码负责声道动作的脑信号的系统。之后，他们便能够根据解码出的动作合成语音。在包含101个句子的试验中，听者可以轻松地识别并记录下合成的语音。

合成语音的清晰度和特征性表现。

Anumanchipalli et al.

在另外的测试中，一名被试按要求说出句子，然后不出声地做出相同的发音动作。虽然无声言语的合成效果不如有声言语，但是作者认为仍有可能解码无声言语的特征。

在相应的新闻与观点文章中，美国埃默里大学和乔治亚理工学院的Chethan Pandarinath和Yahia Ali表示，尽管作者完成了有力的概念验证，但是要使该系统真正成为一个临床可行的语音脑机接口还面临着许多挑战。

ⓝ

Nature|doi: 10.1038/s41586-019-1119-1

点击“阅读原文”阅读新闻与观点文章

Brain implants that let you speak your mind

扫描以下二维码阅读论文

Speech synthesis from neural decoding of spoken sentences

相关文章