阅读理解做不过AI？我不服

查看原文

其他

阅读理解做不过AI？我不服

Original 2018-01-27 六个太阳 读芯术

科技时代，我们更加怀念温暖邂逅的时光

后台回复“想要”，得到近期有温度的推荐

全文共2691字，预计阅读时长3分钟

在考试界里有一座难爬的大山，名叫“阅读理解”，语文考试里的文言文阅读、现代文阅读的分最难挣；英语老师不下一次地说，得阅读理解者得天下，但密密麻麻看了就心慌；文综政史地也从各种文献摘出段落轮番地难为人……

阅读理解是多少人的痛，永远回答不完，永远读不懂，选项永远似是而非。于是三长一短就选短，三短一长就选长，两长两短就选B，参差不齐C无敌！

然而，阅读理解这一学生苦难的源头，却被人工智能后来居上地轻松拿下了。

阅读理解人机PK测试，AI险胜

1月11日，斯坦福大学的机器阅读理解赛事SQuAD刷新了全球排名，榜单上，阿里巴巴的一款人工智能凭借82.440的机器阅读理解精准匹配分数（简称EM）刷新了世界纪录。，并且（划重点）人类的平均得分是82.304，人工智能以微弱的优势胜过了人类。虽然模糊匹配的得分和人类的跑分差了2.5分，但是也已经比较接近。

SQuAD是行业内公认的机器阅读理解标准水平测试，也是该领域顶级赛事。它为机器阅读理解提供两种评测方法： EM（Exact Match，精准匹配分数）和 F1（模糊匹配分数）。

SQuAD挑战赛的基本规则，是通过众包的方式构建了一个包含10万个问题的庞大的机器阅读理解数据集，并给出来源于维基百科长度大约在几百个单词左右的文章。参赛者提交的AI模型在阅读完数据集中的一篇短文之后，回答若干个基于文章内容的问题，答案与标准答案进行比对，最终得出成绩。

测试的方法，和我们做语文英语试卷里的阅读理解是一样一样的。 42 35408 42 15091 0 0 3786 0 0:00:09 0:00:03 0:00:06 3786span>

AI怎么做阅读理解？

我们知道，机器有一套自己的语言，它的世界是由0和1构建起来的，机器执行人的命令，都需要翻译成机器语言，而要理解人类创造出来的长篇大论更得跨过一个鸿沟，那么AI是怎么理解人类的语言？

不妨先回想一下，我们是如何做阅读理解的。读完一篇文章，我们的脑海里会形成一定的印象，可以比较容易地归纳出文章的重点和大体内容，比如这篇文章讲的是谁，做了什么，结果怎样等等。然后带着问题找答案，定位可能的答案范围，再比对匹配和精筛，确定答案。

人工智能也仿照人类来做阅读理解，就拿阿里的SLQA 系统来说明，其中的关键技术就是基于这四个Layer的深度神经网络模型。SLQA系统包含四个基本结构：Encoder Layer（文本表征），Attention Layer（注意力机制），Match Layer（问题篇章匹配）以及 Output Layer（答案预测），对应的就是人类答题的思维过程。

机器准确阅读和理解有多难

机器的阅读理解属于AI中自然语言理解的研究课题，很长一段时间，自然语言处理的研究都是围绕着短句，理解句子中的主谓宾、定状补等基本的语法结构。长文本的理解问题一直是个难点，因为这涉及到句子之间的逻辑关系、上下文和推理等更复杂的内容。

比如这样一段文本：莱茵河是一条位于欧洲的著名河流，始于瑞士阿尔卑斯山，最终在荷兰注入北海。它是中欧和西欧区域的第二长河流，仅次于多瑙河。

如果提问：什么河比莱茵河长？人们可以轻易地给出答案：多瑙河。但机器回答这个问题就没那么直接了，除了要理解文中的指代“它”，还需要算法和模型进一步理解“仅次于”这个表述的含义。如果换成了英文，多瑙河（Danube）连提示词“river”都没有，更需要AI判断这个名词是一条河流的名字，更加大了推理难度。

朱自清《背影》里的一段话：“我那时真是聪明过分，总觉他说话不大漂亮，非自己插嘴不可，但他终于讲定了价钱；就送我上车。他给我拣定了靠车门的一张椅子；我将他给我做的紫毛大衣铺好座位。”

为什么是“讲定”“拣定”，而不说“讲好了”“拣了”，AI能不能体会其中细微的差别，领悟到背后传递出来的情感？“我真是聪明过分”，AI又能不能读懂这是反话正说呢？

在SQuAD的数据集中，问题和答案具有非常丰富的多样性。可能涉及文章中的某一个人，某一个地点，或是某一个时间，也有可能会问一些为什么（Why）、怎么样（How）的问题。后者的答案可能是一句话，甚至是一小段话，找到正确答案可能需要整合全文多处信息，有时还需要用到比较复杂的推理、常识，如果又碰上句子有歧义，那问题就更加棘手。

机器阅读理解将取代客服

在对文本的精准理解和回答上，AI已经相当擅长，我们的生活会有哪些变化？这可能是不少人关心的话题。

最直接的产业影响，应该是信息服务行业。大多数今天还必须由人工完成的规则、对话、服务信息类的相关理解工作，都可以被人工智能所取代。比如客服、信息管理和推荐类的工作，都可以考虑用不眠不休、高运算速度的机器来取代。

比如客户对某个电商促销规则有疑问，就可以直接向AI提问，而AI就可以把这个问题当做一道阅读理解问题来进行解决方案回馈。对于阿里巴巴来说，机器阅读理解技术的最直接应用就是阿里小蜜现在能直接阅读说明书回答用户问题了。

在搜索引擎中，机器阅读理解技术可以用来为用户的搜索提供更为智能的答案。通过对整个互联网的文档进行阅读理解，从而直接为用户提供精确的答案。

在办公领域，我们可以使用机器阅读理解技术处理个人的邮件或者文档，然后用自然语言查询获取相关的信息。这在移动场景的个人助理，比如微软小娜（Cortana）里也有直接的应用。

此外，机器阅读理解技术在垂直领域也有非常广阔的应用前景，比如在教育领域用来辅助出题，法律领域用来理解法律条款，辅助律师或者法官判案，以及在金融领域里从新闻中抽取金融相关的信息等。

阅读理解能力是人类智能中最关键的能力之一，机器阅读理解技术可以做成一个通用的能力，释放给第三方用来构建更多的应用。

读芯君开扒

AI能理解多少人类的语言？

应该说，人工智能从一开始就把理解人类语言作为目标。而AI的“阅读理解”得分超越人类，可以算是它在理解人类语言的道路上前进的一大步。

回顾AI在该领域内的种种尝试，最开始是机器翻译，在不同语种间相互匹配，以实现跨语言的交流；后来语言识别开始活跃起来，紧接着问答系统和聊天机器人又出现了，可以和人进行简单有趣的沟通，而AI独立创作也不是什么新鲜事了，写诗、写歌、写小说，不仅仅是理解人类语言，还能活学活用，玩儿得飞起。