用手语“解说”昨晚夺金那一刻

左手食指横伸；右手伸拇指、小指，撞向左手食指……

手语：冲刺

 “武大靖最后一次冲刺！最后一个弯道，武大靖率先冲出弯道，冲过了终点！”

在央视频的比赛播放中，央视频AI手语翻译官聆语，为昨晚夺金那一刻，带来了手语解说。

目前，我国有2780万听力障碍人群。

电视画面右下角的手语主持人，就是他们眼中的“解说员”。

同时为听障人士解说的有——腾讯 3D 手语数字人小聪，将上线腾讯体育。

小聪手语解说“中国夺得首金”

小聪、聆语，均由腾讯的技术团队打造，特点是：

手语表达能力接近真人；

所谓学无止境，他们能自行学习，快速补充海量新词、热词。

最近这段时间，聆语、小聪会为冰雪赛事的转播采访等环节，提供手语解说服务。

2780万人需要手语主持人

如何让2780万听障人群享受更美好的电视时光？

答案是，手语主持人！

但手语解说，可不简单。

先来看语序问题——

汉语、手语的正常语序编排是不一样的。来看个例子——

汉语：猫追老鼠

👇

手语：猫 老鼠 追

这就给手语解说增加了难度——

如果你按汉语正常语序编排，那么，听障人士看到的手语解说，其实是乱序的。

除了语序问题外，手语还有个特点：没有虚词和量词。

举俩例子感受下——

汉语：两本书

👇

手语：书 二

汉语：大雪纷飞

👇

手语：雪 + 大幅身体摆动体现程度

试想一下，不恰当的省略，会导致意思理解上千差万别——

比如，“两捆书”可能被理解成“两本书”。

此外，手语还有个特点：

不仅仅需要手势，还需要依靠面部表情、身体动作等表达信息。

调研发现，绝大多数听障者只能理解手语新闻中不到60%的内容。

除了手语翻译难的问题外，另一个显而易见的现状是——

手语主持人太少了。

因此，非常有必要去研发翻译精准的AI手语主持人。

2021年10月，广电总局在《广播电视和网络视听“十四五”科技发展规划》中首次明确指出，要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产，创新节目形态，提高制播效率和智能化水平。

让数字人掌握专业手语翻译

问题是，如何让数字人学会专业的手语翻译呢？

聆语、小聪背后，整合了3D数字人建模、语音识别、语义理解、机器翻译和图像渲染技术等。

说起机器翻译，我们的程序员还为此啃起了《国家通用手语词典》。

经历了漫长的手语调研、手语顾问团队建设，我们开发出了一套手语翻译系统——

只需输入健听人语言，即可通过机器翻译低延迟生成高准确率的手语语言表征，比如：

输入：他是我的手语老师

👇

预处理：他 是 我 的 手语 老师

👇

翻译：他 我 手语 老师 是

接着，驱动手语数字人准确表达——

基于腾讯多模态端到端生成模型，进行联合建模及预测生成高准确率的动作、表情、唇动等序列，实现自然专业、易懂度高的手语效果。

通过这项技术，AI手语可懂度达90%以上。

一直以来，腾讯都在积极倡导全社会共同关注信息无障碍，我们将面向社会开放技术与能力。

期待未来，会有更多AI手语主持人在电视栏目中上线。