UC Davis俞舟走进华院数据 分享多模态对话系统新进展

俞舟博士，本科毕业于浙江大学计算机和语言学双学位，卡内基梅隆计算机博士，现任UC Davis计算机系助理教授，该校语言、多模态和交互实验室主管。研究方向包括自然语言处理，多模态传感分析以及人机交互机器学习技术等。2017年，她入选度福布斯“30 Under 30”科学家名单；2018年，她所带领的学生团队赢得了Alexa Prize，获50万元美金大奖。该竞赛旨在鼓励高校学生打造顶级聊天机器人，以推进会话式人工智能技术的发展。

近日，加州大学戴维斯分校计算机系助理教授俞舟博士走进华院数据，分享其深耕已久的“多模态对话系统”的基本概念、技术研发与突破、应用情况等，同时就对话机器人的伦理问题、未来重点工作方向等话题展开探讨。

所谓“模态”，即“感官”，多模态对话系统，即通过文字、语音、视觉、触觉等不同模态的信息，更好地实现人机互动。俞教授介绍了多模态对话系统的应用场景，包括已经部署在Amazon Alexa上的社交聊天机器人，用于推荐电影等方面；此外，对话系统在医疗、教育、路径规划等领域都有了很好的应用。

Direction- giving Robot

人和机器的交互，指路系统，多模态输出，引入注意力机制。

HALEF

工作面试系统，时事观察行为举止变化，提高对话能力。

俞教授做了很多用户参与度（engagement）、交互中的语音识别等方面的研究，她表示，声音事件、环境，包括声纹识别等都是研究的方向。

在谈到如何判定对话的优劣时，俞舟博士提到了今年的一个项目，利用一个名为“劝说”的新数据集说服人们给慈善机构捐款，可以根据被劝说的对象，劝说成功的可能性以及捐款的数额来设计任务并收集反馈。

展望未来，俞舟表示，以后的工作方向就是如何使用元学习等学习方法，建立一个少量监督的对话系统。她想要打造一个真正的智能系统，能够理解人类情感、实现认知功能，辅助决策等，而现实情况距电影《Her》中的"人工智能系统OS1"还有很大距离。她认为，常识和文化差异、人际交互是重要突破口。

分享最后，俞舟就一些热点问题，对话机器人的伦理、国内外NLP技术难点与差异等方面进行了解答。华院数据也将在后续与俞舟教授团队保持密切的交流和联系，以推动NLP在行业领域的深度融合与落地，为相关行业持续创造价值。

『往期精彩』

▼▼▼

点击“阅读原文”了解更多~