让无声世界变有声：这款趣味软件是为言语障碍儿童准备的

项目来啦

昨天，你的朋友圈是不是被公益项目“小朋友”画廊刷屏了？25位“小朋友”的36幅画作，让人们的目光聚集到自闭症、唐氏综合征等患者上。本期“项目来啦”将介绍的是一群患有言语障碍的孩子。为了帮助这些孩子恢复言语能力，科研人员建立了一套“游戏”系统。

让无声世界变有声：

这款趣味软件是为言语障碍儿童设计的

纪录片《聋哑世界》的开头，四位聋哑艺术家用手语演绎了一场合唱。他们翻着乐谱，手臂随着节奏时而有力地挥舞，时而轻轻地摆动，无声的背景下却似有乐曲从指间流出。末尾，四位艺术家相视而笑，那一刻无声世界胜有声。

△ 纪录片《聋哑世界》里的片段

法国导演尼古拉斯•菲利伯特用镜头记录了聋哑人的真实生活。其中，不少画面落到了孩子身上。这些孩子年纪还很小时，就出现了听力障碍。他们靠助听设备和有声世界建立联系。对于学龄前儿童来说，伴随着听力障碍而来的，还有可能是言语障碍。

在特殊学校里，老师一对一教他们说话。尽管戴上了助听设备，他们依然听不太清楚老师所说的话，老师们一遍遍重复着，直到他们能模仿出发音。

△ 纪录片《聋哑世界》里的片段。老师想让孩子发“Bi”这个音，孩子听不清楚老师所发的音，一直在说“Mi”。

如何让孩子们恢复言语能力？这篇文章也许提供了一种可行的思路。

安装助听设备只是康复的第一步

对于已经丧失听力的孩子，安装人工耳蜗等助听设备只是康复的第一步。

人类获得正常的语言不仅需要正常的听力，还需要语言中枢的正常发育。研究表明，人类的语言中枢在5岁左右就发育完成，如果在语言中枢发育前就发生了耳聋，语言中枢就失去了正常发育的机会、失去了可塑性。这些患者即使接受了人工耳蜗植入，也仅能够听到声音，不能听懂语言及讲话。

 △ 大脑对应的不同功能区域（图片来自网络）

因此，具有针对性的语言康复训练是必要的。

言语障碍康复是一项烦琐的长周期任务。一方面，传统模式通过人工对言语障碍患者进行一系列培训，但装上助听设备的孩子听力始终不及正常儿童。于是，在语言训练的过程中，他们主要靠看老师的嘴形理解发音，却无法观察到发不同音、说不同字时，口腔里的变化。

 △ 纪录片《聋哑世界》里的片段，老师用手贴近嘴唇，想要告诉孩子发音时手部能感受到的气流。孩子尝试了很多遍，慢慢地才能发出这个音。

另一方面，言语障碍康复训练主要依托三甲医院、特教学校以及民办专业治疗机构，专业人力资源缺乏，更缺少来自信息技术领域的有效支持。传统模式既消耗了人力成本，训练效果也不够显著。

如何用更智能、有效的方法帮助听障儿童恢复言语能力？在中科院深圳先进院有一支环绕智能与多模态研究室团队，针对听障儿童的言语能力恢复，他们研发出了一套可视化交互式言语康复系统。

△可视化交互式言语康复系统

实验室执行主任王岚研究员介绍，交互式言语康复系统可以实时反馈言语障碍患者的发音准确度、流利度，并通过生动形象的方式展现发音过程、提供发音反馈、训练其进行发音动作模仿，帮助他们练习发声时对自己的错误发音进行及时、有效地纠正与调节。

△  王岚和她的研发团队

在游戏中进行言语康复训练

可视化交互言语康复系统是一套单机软件，针对3至7岁儿童设计，界面设计风格以孩子喜爱的卡通形象为参照，运用FLASH和3D动画增强学习兴趣。这套系统可以安装在普通电脑、平板电脑上。

△ 系统包括“听”、“看”、“说”三大功能模块，具有听觉感知、听觉分辨、听觉辨识、词语学习、声长练习、声调练习、发音练习、场景练习八大主要功能。

这套系统看上去像普通的电脑软件，其实它厉害的地方在于背后的语音识别、声调识别和三维头像发音模拟技术。

三维头像发音模拟技术是什么？

在使用系统时，小朋友可以通过3D画面看到发音准确时我们舌部和唇部的变化。系统会对每一个侧面进行演示，让小朋友对发音时舌部和唇部变化有比较清晰的观察，同时对比自己的发音录像，可以正确的找出发音的舌部变化，强化发音练习的效果。

△ 三维头像发音模拟技术示意图，小朋友可以看到发音时嘴部、舌部以及气流的变化。

这个三维头像发音模拟技术背后是大量的数据采集工作。实验室购置了电磁发音仪、气流采集仪、面部动作捕捉系统、EGI64通道脑电系统等进行生理参数采集，利用信号处理、视觉语音合成算法、等多模式信息融合技术合成发音的动作轨迹和气流模式。

△ 三维头像发音模拟技术示意图

三维头像发音模拟技术弥补了传统依靠听力进行语言训练的方法，填补市场上在此领域内的空白，使得语言学习和康复发声训练避免一对一的面授模式和高昂的培训、治疗费用。

语音、声调识别反馈系统助发音准确

团队在语音识别、声调识别方面也花了些心思，让系统更好地帮助小朋友进行言语恢复训练。

针对汉语发音特色，团队设计了包含汉语特有的声调训练、形音字训练、易混淆辅音等汉语独特发音的训练内容。该系统结合儿童发音特点，利用最新的语音识别和机器学习方法实现不同的游戏或者场景诱导儿童发出特定词语的声音的发音检测，句子的发音检测等功能，从而自动给予言语障碍儿童正确的反馈和刺激，促进其发音规范化。

例如，在系统特定的指示下，小朋友能通过麦克风音调正确地说出“爸爸”这个词语，系统就会给出一个发音正确的提示或者鼓励，如果不正确则会有其他的提示。

视听结合刺激聋儿对发音器官运动轨迹的理解

在各功能中，团队设计了趣味性的练习方式来激发小朋友学习、练习的兴趣，从而更好地锻炼他们的说话能力。在声长练习中，树苗会随着小朋友发音的长度和音量长大，最终长成结满苹果的大树。系统会实时检测小朋友发出声音的长短，帮助他们练习发声长度和肺活量。

△ 软件中，声长练习的页面。

在场景练习中，当小朋友对着麦克风正确说出农场中水果蔬菜的名字时，对应的蔬果会发光；在动物园里喊“大象”且发音正确时，大象会变为发光的样子，系统还会发出大象的叫声。

王岚说：“临床研究发现，视听结合的语音教学方式比单独的视觉或听觉教学效果更好，因为发音的动态模拟过程可刺激聋儿对内部发音器官运动轨迹的理解，并使聋儿形成发音时对发音器官位置的控制。通过建立和应用三维动态发音模型，可以有效刺激聋儿视觉反馈的形成，从而使聋儿的发音动作逐渐规范化。”

目前，这套可视化言语康复系统可以安装在普通电脑、平板电脑上，用户根据不同的年龄段选择不同的学习内容扩展系统。在训练场所，特教老师可以把更有针对性的内容加入到该系统中作为教材使用；在家里，家长可以通过该系统的客户端来辅导孩子学习，保持训练效果的持续性和多样性。

该系统现已在广东省中医院、深圳光明新区中心医院、深圳特殊需要儿童早期干预中心的等事业单位实际应用，并在深圳晴晴儿童言语康复中心、深圳市爱心智慧言语康复中心等民办康复机构推广使用。

△ 孩子和老师正在使用该系统进行言语恢复训练

“许多听障儿童仍然有微弱的听力，现在国家又在大力推行为听障儿童免费安装人工耳蜗，对这些孩子来说早一天通过专业化的言语康复系统进行发声和听力训练，那么他们当中的大部分孩子都能与正常儿童一起学习和生活。”王岚表示。

王岚介绍，接下来，团队希望能够与真正关注康复领域的投资公司或医疗公司合作，将这套造福言语障碍儿童的科技利器真正做成广泛应用的产品，帮助更多的言语障碍儿童家庭。

12

“项目来啦”是读创科技与中科院深圳先进技术研究院打造的科技专栏，围绕机器人、人工智能、大数据、生物医药、高端医疗影像产业、脑科学、新材料新能源等战略新兴产业的项目为您带来新解读。