其他

微软亚研院周明盘点 NLP 重要进展,中国的进步不容小觑丨EmTech 回顾

2018-01-31 DeepTech深科技



过去的一年,自然语言处理 ( NLP ) 领域硕果连连,无论是顶级会议还是期刊论文,NLP 科学家们都产出了高质量的成果。


而在 1 月 29 日的 EmTech China 峰会上,微软亚洲研究院副院长周明则给出了自己对于 NLP 近年发展的理解。以下为整理后的演讲全文:



人工智能最重要的分支就是自然语言的理解与处理,即语言智能,通过对词、句子、篇章进行分析,对内容里面的人物、时间、地点等进行理解,然后在此基础上,去支持一系列核心技术,比如跨语言的翻译、问答系统、阅读理解、知识图谱等技术,基于这些技术,又可以把它应用到其它应用领域,比如说搜索引擎、客服、金融、新闻等等领域。


总之,就是通过对语言的理解,实现人跟电脑的直接交流,从而实现人跟人更加有效的交流。自然语言技术不是一个独立的技术,其受云计算、大数据、机器学习、知识图谱等等各个方面的支撑。



图 | 周明在演讲


接下来将从四个方面介绍自然语言的进展,即神经机器翻译、聊天机器人、阅读理解及机器创作

 

神经机器翻译就是模拟人脑的翻译过程,人在翻译的时候,首先是理解这句话,然后在脑海里形成对这句话的语义表示,最后再把这个语义表示转化到另一种语言。


神经机器翻译有两个模块,一个是编码模块,把输入的源语言变成一个中间的语义表示,用一系列的机器的内部状态来代表,另一个模块是解码模块,根据语义分析的结果,逐词生成目标语言。


神经机器翻译在这几年发展非常迅速,2017 年的研究热度更是一发不可收拾,现在神经机器翻译已经取代了统计机器翻译,成为机器翻译的主流技术。


目前有统计数据表明,在一些传统的统计机器翻译难以完成的任务上,神经机器翻译的性能远远超过了统计机器翻译,而且跟人的标准答案非常接近,甚至说是相仿的水平。围绕着神经机器翻译,研究者们已做了很多的工作,比如如何提升训练的效率,如何提升编码和解码的能力。


还有一个重要的研究问题就是数据问题,神经机器翻译依赖于双语对照的大规模的数据集来训练,端到端地训练神经网络参数,这涉及很多语音段和很多的垂直领域,但我们实际上并没有那么多的数据,我们只有小量的双语数据和大量的单语数据

 

所以,我们就提出了半监督的联合垂直模型,就是已知一个双语推导语料,分别对之训练,从而达到中英翻译系统与英中翻译系统的相互促进,比如拿中英翻译系统去翻中文的语料,形成很多伪的中英对照语料,然后把这个语料去加到英中翻译里面去。同样,用英中翻译系统去翻译大量的英文语料,然后把这个语料加到中英翻译里面,这样经过多次迭代之后,翻译水平大幅度提升。




微软现在已经全面采用神经机器翻译,最近还跟华为的 Mate10 手机合作,让手机端得到了类似于在云上的效果。

 

第二个话题是聊天机器人。聊天机器人就是人和机器对聊,在聊天的时候机器要理解人的意图,产生比较符合人的想法,以及符合当前上下文的回复,再根据人与机器各自的回复将话题进行下去。微软小冰就是这样的一个聊天机器人。基于当前的输入信息,再加上对话的情感,以及用户的画像,经过一个类似于神经机器翻译的解码模型生成回复,可以达到上下文相关、领域相关、话题有关,而且是针对用户特点的个性化的回复。

 

这样的技术已经应用到微软的很多产品里,比如会 5 种语言、拥有 1 亿以上用户的微软小冰、可以进行自然人机交互的 Cortana、可以在敦煌回答游客问题的敦煌小冰。

 

下一个话题是阅读理解,阅读理解就是让电脑看一遍文章,针对这些文章问一些问题,看电脑能不能回答出来。斯坦福大学曾做过一个比较有名的实验,就是使用维基百科的文章提出 5 个问题,由人把答案做出来,然后把数据分成训练集和测试集,训练集是公开的,用来训练阅读理解系统,而测试集不公开,个人把训练结果上传给斯坦福,斯坦福在其云端运行,再把结果报在网站上,这也避免了一些人对测试集做手脚。


自 2016 年 9 月发布前后阅读理解技术就引起了很多研究单位的关注,大概有二三十家单位都在做这样的研究,一开始的水平都不是很高,以 100 分为例,人的水平是 82.3 左右,机器的水平只有 74 分,相差甚远,后来通过类似于开源社区模式的不断改进,它的性能就得以逐步地提高了。

 

最近在阅读理解领域出现的一个备受关注的问题,就是如何才能做到超越人的标注水平。现在微软、阿里巴巴、科大讯飞和哈工大的系统,都超越了人工的标注水平,这标志着阅读理解技术进入了一个新的阶段。这几个系统都来自中国,也体现中国在自然语言处理的进步。


一个阅读理解的框架首先要得到每个词的语义表示,再得到每个句子的语义表示,这可以用循环神经网络 RNN 来实现,然后用特定路径来找出潜在答案,基于这个答案再筛选出最优的答案,最后确定这个答案的边界。


在做阅读理解的时候,是用到了外部的知识,可以用大规模的语料来训练外部的知识,通过外部知识训练的 RNN 模型,加入到原来端到端的训练结果中,以此来大幅度地提高阅读理解的能力。



最后介绍机器创作,机器可以做很多理性的东西,那么它可以做一些创造性的东西吗?10 年以前,我们就开始做微软对联,在此基础上,创作绝句、律诗、唐诗宋词等等,现在进行写歌谱曲。在微软对联里,用户输入上联,系统就可以对出下联,也可以给出横批;在字谜游戏里,用户给出谜面,让系统猜出字;或者用户给出字,系统给出相应的谜面。

 

我们的编码解码技术已经成功用于神经网络机器翻译、小冰机器人和词曲创作中。中央电视台《机智过人》节目就曾播过我们的小冰与人类选手进行词曲创作比拼的环节,结果是小冰险胜人类。这件事说明如果有大数据,那么机器学习或者深度学习就可以模拟人类的创造智能,创造出一些作品来,也可以与专家合作,帮助专家产生更好的想法,然后两者配合,产生出美妙的音乐。

 

这个在以前是难以想象的,做自然语言的人从来没有想到自然语言还可以延伸到音乐上去,其实音乐也是一种语言,自然语言的所有技术就可以应用到音乐上去,这需要大家的想象力。

 

今天我快速介绍了自然语言处理在神经机器翻译、阅读理解、聊天机器人以及机器创作领域的进展。随着未来大数据、云计算和深度学习的发展,模型还会进一步地提升,再加上合适的场景,技术就可以落地,就可以服务于成千上万的用户。可以预料,随着自然语言处理技术的提高与普及,它将会与其他的人工智能技术一起提升人类的生活水平。

 

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存