意图知识图谱的构建与应用
The following article is from 大数据期刊 Author 大数据期刊
《大数据（Big Data Research，BDR）》 双月刊是由中华人民共和国工业和信息化部主管，人民邮电出版社主办，中国计算机学会大数据专家委员会学术指导，北京信通传媒有限责任公司出版的科技期刊。
关键词：
论文引用格式：
陈成, 陈跃国, 刘宸, 吕晓彤, 杜小勇.意图知识图谱的构建与应用 .大数据[J], 2020, 6(2）：57-68
CHEN C, CHEN Y G, LIU C, LYU X T, DU X Y.Constructing and analyzing intention knowledge graphs. Big Data Research[J], 2020, 6(2):57-68
随着政府治理大数据应用的开展，评估政府治理的效果成为迫在眉睫的事情。没有有效的评估机制和手段，就无法深入利用和改进大数据技术，无法有效地将政府治理与大数据技术深度结合，导致难以真正做到政府决策的科学化、社会治理的精准化以及公共服务的高效化。
一种可能的评估手段是从政府内部构建治理的评估机制，相对公众用户而言，政府具有更好的数据优势，能够通过政府治理的多种应用场景收集数据，通过自评估的方式评价治理的效果。然而，由政府自身主导的治理效果评价也可能会存在一些问题。首先，尽管政府具有较好的公信力，但也不能排除在数据采样或发布手段等方面出现问题，使得评估效果偏离实际，不能真正发挥导向作用；其次，很多政府治理场景需要跨部门的协作与评估，不同部门之间数据共享困难，难以协作评价治理的效果。因此，政府单方面的治理效果评估机制会存在一定的问题。
另一种政府治理效果的评估手段是从公众的角度、从用户的角度评估政府治理的效果。一般需要使用问卷调查的方式收集大量的用户反馈，才能有效地评估政府治理的效果。然而，使用问卷收集公众反馈进行有效评估是非常困难的事情，最突出的问题就是只能获得书面的社会信息，而不能了解生动、具体的社会情况。其次，问卷回复率和有效率低，对无回答者的研究比较困难，反馈人群的偏差和反馈数据的偏差会造成很大的评估偏差，从而无法实现有效评估政府治理效果的目的。
本文通过收集互联网上多种来源（如网页论坛、微博、百度知道和知乎等问答社区）的用户自然语言问题，并对问题进行分析处理，将其抽象成问题背后的意图。如果2个意图语义相同，或者包含相同的实体、词条，那么它们之间就可以建立关联，进而构建公众意图知识图谱。进一步结合政府治理的一些应用场景，分析公众意图在不同城市的不同政府治理话题下的分布差异性，分析公众意图的演化规律，进而评估一些政府治理的应用场景的治理效果。采用自然语言问题构建意图知识图谱，并用来评估政府治理效果有以下原因：第一，相比搜索引擎的用户搜索日志，自然语言问题更详细（搜索日志多为关键词），意图表达更精确；第二，用户搜索日志多为搜索引擎公司的私有数据，难以公开研究和应用，也缺少第三方数据的公立性；第三，相比网页和社交媒体的文本数据，用户的自然语言问题意图更明显、表达更精炼，更有利于精准识别用户的意图；第四，社交媒体上与政府治理相关的数据通常带有强烈的主观色彩，煽动性强，真假混杂，而自然语言问题通常是用户意图的自然表达，不是情绪的宣泄，用自然语言问题分析潜在的政府治理效果受到的干扰会更小；第五，社区的自然语言问题，除了问题，通常还有答案以及用户对问题及答案的反馈数据，这更有利于识别问题的意图以及问题的质量和重要性；第六，互联网上尤其是问答社区（如百度知道、搜狗问问等）拥有大量的公众用户问题，具有良好的数据基础。基于以上考虑，笔者认为从互联网上爬取的海量自然语言问答数据非常适合构建意图知识图谱，适合在这样的知识图谱上分析政府治理的效果。现代汉语词典将意图定义为“希望达到某种目的打算”。意图知识图谱是对指定领域的问题意图的结构化整理，以知识图谱的形式呈现，便于计算机处理以及人们理解分析。基于此，本文创新性地提出构建意图知识图谱，并给出一个概要性的解决方案。
那么，意图知识图谱与一般意义的知识图谱有什么相同和不同之处？知识图谱需要具有节点和边的概念，传统知识图谱的节点表示信息实体或者实体的属性值，边表示2个被连接实体的关系或者一个实体的某个属性。在意图知识图谱中，节点与传统知识图谱相同，是一个具体的信息实体或词条。意图的形式化表达逻辑上是由多个实体或词条构成的集合，它以超边（hyper edge）的形式连接其包含的多个实体和词条，进而表达一个意图。边则可以有多种类型，如实体和词条之间的边，与传统的知识图谱相同，这些边用于实体之间的关联，表示实体的属性、实体和概念之间的上下位本体关系或者对某个实体属性施加的动作；意图超边和实体/词条节点之间的连接，表示某个意图超边包含了这些实体/词条，是对意图的描述；意图之间的边可以表示意图之间的等价关系（具有相同的意图）或者是在具体应用下构建的意图之间的相关关系（意图之间的某种关联）。
图1 意图知识图谱的构建框架
从问题句子构建意图知识图谱的过程与传统知识图谱的构建过程不同，需要先做问句的抽取和提问意图主体的识别，以便下一步的意图聚类和分析。在很多政务治理场景下，意图分析强调意图的时效性，因此无法直接以现有的百科知识图谱为基础进行构建。图1给出了意图知识图谱的构建框架，它主要包括数据获取、信息抽取、知识融合、质量评估和知识更新4个模块。
按数据来源，数据可分为3类：万维网；新浪微博、腾讯微博等短消息广播平台；百度知道、搜狗问问、知乎等问答社区。本节将从收集技术、清洗整理、数据抽取这3个方面评析万维网、微博、问答社区数据获取的质量和效率。
万维网数据包含了来自政府网站、民生论坛、少量的问答社区和少量的微博的消息，十分纷繁复杂，因此假设使用搜索引擎可以收集到万维网上所有与中文政务相关的问题，就可以较为全面地反映百姓对政务的各种意图。但是万维网上的问题句比较稀疏，与微博平台相同，大部分句子不是问句，需要做前期的问题句子过滤。关键词过滤法最大的弱点是难以过滤反问句，也有一系列研究反问句识别的技术。笔者以“北京”为主题爬取了万维网上约80万个网页，以“吗”“怎么”“什么”等疑问词为关键词过滤得到1 635 670个30字以内的短问句，随机抽样2 000条检测问句，识别准确率为96%。也可以手工标注问句/非问句二分类数据集，抽取句子的词法句法特征，用逻辑回归、SVM或LSTM等深度学习模型训练问句/非问句二分类模型。
万维网数据纷繁复杂，而研究者一般只关心特定领域的政府治理意图，因此需要做特定领域、限定主题的网络爬虫。主题爬虫技术在搜索引擎、领域语料库构建方面已经得到了广泛应用。在构建指定主题的意图知识图谱过程中，主题爬虫从与事先定义的主题高度相关的统一资源定位符（uniform resource locator，URL）种子集合出发，根据一定的分析算法，对爬行网页进行主题相关分析，过滤与主题不相关的网页，并判断之后的爬虫走向，在不断抓取网页的过程中，将与主题相关的链接放进待爬行队列中，重复这个过程直到意图知识图谱没有较大更新、模型收敛为止。此时图谱构建初步完成，达到可用的程度。
微博的数据量较大，笔者于2020年1月27日晚以“新型肺炎”为关键词搜索微博，得到11 474 392条微博结果。知乎网站上“新型肺炎”话题下仅有500个问题，说明问答社区的时效性较差。百度知道和搜狗问问2个平台允许的搜索翻页数量有限，较难深入爬取，最多也只能得到600~700个问题。问答社区和微博都有格式规范的时间戳信息，方便提取。而网页文本比较混乱，从网页文本提取网页正文的发布时间几乎是不现实的。在爬取的80万个网页中，仅有15%的超文本传输协议响应（HTTP response）带有标记更新时间的字段。问题的发布时间、点赞和浏览数可以反映其意图的流行度。微博和问答社区有规范的点赞量、浏览数、转发量信息，而网页的浏览数一般较难获取。
不同数据源的特点对比见表1。
传统的信息抽取是指从非结构化的文本中识别实体，并发现实体的属性、实体之间的关系，在此基础上形成本体化的知识表达。笔者认为在意图知识图谱构建过程中，问句中关键动词或意图词组的识别和实体、属性一样重要，需要优先考虑。问句中的关键动词往往是提问意图的落点，如户口的“迁入”“迁出”、社保的“办理”“代缴”。对于部分无法用单个动词表示的意图，如“退款申请”“只退一半”这样包含动词的意图词组，需要进一步研究词组挖掘的方法进行识别。也有部分提问意图落在静态的实体或属性上，如猪肉“价格”。可以尝试结合词向量技术改进现有的词组挖掘方法，进行意图词组的抽取。
实体抽取也被称为命名实体识别。短文本的实体识别方法主要分为以下2类。一类是基于词典和规则的方法，是命名实体识别中最早使用的方法。人工构建准确度高，但昂贵费时，目前已有不少研究提出自动构建的方法。参考文献提出一种自动归纳抽取规则的算法，参考文献提出利用机器学习框架长期维护规则集。另一类是基于机器学习模型的命名实体识别，其预先对一部分文档进行实体标注，利用这些文档进行机器学习模型的训练，然后用训练好的模型对没有遇到过的文档进行命名实体识别和标注。2000年年初，隐马尔可夫模型（hidden Markov model，HMM）、条件随机场（conditional random field，CRF）等概率图模型得到广泛应用。近几年，随着深度学习的兴起，结合条件随机场的双向长短期记忆网络（Bi-LSTM-CRF）一度成为研究热点。2018年年底，谷歌公司提出自然语言预训练模型BERT，在11项自然语言处理（natural language processing， NLP）任务中取得卓越表现。最近出现了很多结合BERT的实体抽取方法。
属性抽取方法有2种：一种是将从百科网站上抽取的结构化数据作为可用于属性抽取的训练集，然后将该模型应用于开放域中的实体属性抽取过程；另一种是根据实体属性与属性值之间的关系模式，直接从开放域数据集上抽取属性。
意图知识图谱关系抽取的目标是构建意图词组、实体以及属性之间的语义链接，关系的基本信息包括参数类型、满足此关系的元组模式等。关系抽取方法可分为开放式实体关系抽取和基于联合建模的实体关系抽取2类。目前，针对传统的实体、属性、关系抽取已有丰富的研究和较为成熟的解决方案，而开放领域的问题意图词组的准确识别暂未见相关研究，数据的有限性会为抽取精度带来很大的挑战。
●边：本体层级关系、概念实例关系、实例属性关系、实例和意图词组之间的连边、属性和意图词组之间的连边。还有能够完整表达一个问句意图的意图超边，关联所有需要的节点，如图2中虚线圆圈表示的意图超边。
在意图知识图谱构建初期，数据准备工作难以完全由机器自动完成，需要大量的领域专家进行人工数据标注。近年来人在回路（human in the loop）的技术路线备受学术界和工业界的关注。众包数据抽取方法首先通过自动的数据抽取方法生成候选结果，然后让众包工人进行验证，这种方法取得了明显高于自动数据抽取方法的效果。
质量评估也是知识库构建技术的重要组成部分。质量评估对知识的可信度进行量化，通过舍弃置信度较低的知识保障知识库的质量。从逻辑架构方面看，意图知识图谱的更新包括概念层的更新和数据层的更新。概念层的更新是指提取新的问题句子后获得了新的信息实体和意图，并将其对齐或添加到知识库的概念层中。数据层的更新时主要是指新增或更新实体、属性、关系、动作，对数据层进行更新时需要考虑问题句子来源的可靠性、时效性、数据的一致性，选择各数据源中可信度高的数据加入知识库。
与政务相关的自然语言问题一般包括主体与背景2个部分。主体包含地点、政策、行为等主要实体和动作，背景中则包含一些复杂的信息（如用户的个人信息等）。在百度知道上，有关北京的一个具体问题“北京市户口名下有外地牌照车还可以在北京申请摇号吗”中，问题的主体是“北京申请摇号”，背景则是“北京户口名下有外地牌照车”。问题包含多个实体，但要理解问题的意图，最重要的实体还是地点（北京）、政策（摇号）、行为（申请）。用户询问的意图是在“北京户口”且“名下有外地牌照车”的背景下“是否可以申请”。在意图知识图谱上，一个意图可以由多个实体和行为连接而成的路径构成，可以由路径还原问题的主干，而实体和行为之间的联系可以透露丰富的信息。
在市政服务的具体场景中，应用意图知识图谱可以更加高效地协助政府工作人员定位民众最关切、最亟待解决的问题，发现治理中存在的不足，从而及时满足民众的需求。图3展示了利用百度知道中与“深圳”“户口”相关的50条问题构建的意图知识图谱。可以清晰地看出，民众对于“深圳户口”的意图主要有“迁入”“迁出”“办理”“转移”“利弊”“市内迁移”6种，每个意图对应不同的实体，就“迁入”“迁出”来说，“深圳”与“北京”以及广东省的几个市之间存在相互关系。进一步，结合相关问题的个数，政策、地点等特定实体的出现次数、回答数、点赞量等，可以研究不同问题的热度，从而发现民众最关心和亟待解决的问题，发现政策中可能存在的漏洞，为政府高效性、针对性、智慧性地治理提供了便利。
意图知识图谱抽取的本体包含类、关系、函数、公理和实例5种元素。在政务领域下，由政务问题抽取的本体的类包含地点、政策、意图和人员背景4个部分，本体之间的关系有上下位、施加动作、相似问题等，函数和公理则对类和关系进行约束，例如某些非区域性政策，政策与地区之间的关系不能被简单地刻画，因为不同地区可能会对政策有因地制宜的调整，从而产生完全不同的子图。
在智慧政务方面，意图知识图谱有广阔的应用空间。一是可以通过预计算和探索式、交互式数据分析系统的构建节约人力资源。可以在图谱构建的过程中进行预计算，从而避免重复进行简单的分析任务；探索式数据分析可以在不明确最终分析目标的思考过程中，辅助分析师发现、求证、推理，使数据分析工作变得简单；使用交互式机器学习可以积淀知识逻辑，进一步提高系统智能性。二是可以进行动态分析和实时舆情监测。意图知识图谱的结构随时间的变化能够反映出人民群众关心问题的改变和诸多社会经济因素，从而在智能交通、城市规划、灾情疫情应急处理等领域发挥作用。三是可以构建高效的政务问答系统。目前政府网站的政务问答大多基于人工操作，回复慢，解决问题能力差，而利用意图知识图谱在政务专业领域可以更好地识别用户问题的意图，从而提高政务问答效率。
意图知识图谱的使用用户主要分为2类，分别是政府内部工作人员和政府面向的社会公众群体。政府内部工作人员对意图知识图谱的使用集中体现在“了解民情、知晓民意”方面，通过由网络问答数据构建的网络知识图谱查找社会和政策漏洞，而对于政府面向的社会公众群体来说，最主要的是人机对话、智能问答等政府服务方面的应用。这2类用户虽然在使用意图知识图谱方面表现不同，但其根本意图都是检索。首先，对于政府内部工作人员，特别是专业技术人员来说，可以通过给定的种子实体和词条进行意图的检索。给定实体和词条后，在构建好的意图知识图谱中进行查找，得到相关的意图集合，并提取出与这些意图相关联的子意图知识图谱，把这些抽取得到的子知识图谱进行意图的关联分析对比，最终得到与用户输入的种子相关的意图场。其次，针对普通群众的意图检索，考虑到社会群体的多样性和图谱使用的友好性，可以将其检索输入形式进一步扩展为自然语言问题。运用相关自然语言处理技术，对用户输入问题的实体和词条进行识别，再通过抽取得到的实体和词条进行意图的检索。意图检索流程如图5所示。
图5 意图检索流程
（1）知识图谱的形式化表达方法
传统的知识图谱元素仅有实体、属性（值）、关系。来源于问题句子的意图知识图谱通常不关心属性值，只关心属性本身。与传统知识图谱不同，意图知识图谱必须体现的要素是意图。本文提出由一个实体或词条构成的集合（超边）表达一个意图，那么对于描述给定主题的意图知识图谱，如何对图中节点做聚合，形成意图超边，是一个新颖且有现实需求的研究点。由于图谱构建前期自然语言理解的不确定性，意图在图谱中或许也可表达为带有概率的节点和边集合。
（2）意图知识的更新维护
对于疫情、灾害类的时政消息，意图的时效性尤其重要。工作人员不仅要关注更新的准确性（如实体链接和知识合并），也要关注更新的有效性，将新的意图融合进现有的意图知识图谱，与相关旧意图进行对比，体现最具时效性的民情民意，给执政者新的启发。如何高效地完成准确更新，如何定义并解决有效性，还有待解决。
（3）意图知识图谱的搜索
意图知识图谱是基于大量问句构建的，初步解决了浏览原始问句意图信息过载的问题。但是面对具有万亿节点的图谱，搜索技术的研究也是必要的。搜索的界面和形式会直接影响用户理解搜索的信息。意图知识图谱的搜索需要帮助用户找到最想要的意图信息，提供更全面的摘要，使搜索更有深度和广度，既需要全面地总结出与搜索话题相关的意图，也要将搜索结果范围缩小到用户最想要的含义。
（4）意图知识图谱分析
（5）意图知识图谱探索
意图知识图谱是一个全新的研究领域，需要做的研究工作还很多。也可以将意图知识图谱理解为对意图进行管理的数据库，需要思考分析师与数据库中的意图元素如何交互、如何扩展新的查询语言或查询接口以及如何优化基于意图超边的数据存取算法。
(欢迎大家加入数据工匠知识星球获取更多资讯。)
扫描二维码关注我们
微信：DaasCai
邮箱：ccjiu@163.com
QQ：2286075659
我们的使命：发展数据治理行业、普及数据治理知识、改变企业数据管理现状、提高企业数据质量、推动企业走进大数据时代。
我们的愿景：打造数据治理专家、数据治理平台、数据治理生态圈。
我们的价值观：凝聚行业力量、打造数据治理全链条平台、改变数据治理生态圈。
了解更多精彩内容
长按，识别二维码，关注我们吧！
数据工匠俱乐部
微信号：zgsjgjjlb
专注数据治理，推动大数据发展。
Go to "Discover" > "Top Stories" > "Wow"