李涓子、董天石、唐杰——基于空间认知的知识表示和推理
本文立足鲁棒可解释人工智能前沿，以实现融合数字与符号的知识表示和推理为目标，以空间认知为理论支撑，阐述了符号空间化的知识表示和推理的可行构想。
关键词：知识图谱 知识表示和推理空间认知 符号空间化
引言
人工智能的发展已经进入快车道，作为新一轮科技革命和产业变革的重要驱动力量，人工智能技术正在深入各行各业，悄无声息地改变着人们日常生活的方方面面，“智能化”已经成为几乎所有领域的发展趋势。如此迅速的发展也不可避免地暴露了当前人工智能方法在鲁棒性、对抗性和可解释性方面的局限性，如何寻求突破、实现更通用的人工智能，是科学研究和产业应用都十分关心的问题。回顾人工智能的发展，我们可以发现，知识是人工智能的核心命题，智能系统无一例外地是在寻找合理方法来“固化”人类的知识，符号主义和连接主义的区别主要在于它们对知识不同的表达方式。因此，探索新型的知识表达是突破当前人工智能方法瓶颈的有效且必然的途径。认知是人类获得和应用知识的过程，越来越多的科学家注意到目前人工智能窘境的原因是有“感”无“知”，如何将机器的知识表示和应用与人类认知过程统一起来，这正是本文期望回答的问题。
本文首先回顾了人工智能中符号主义和连接主义方法的发展过程，并在此基础上总结了“数据驱动的方法如何利用知识表示和推理获得智能系统的可解释和鲁棒性”是人工智能的发展趋势；接下来深入分析对比了两类方法的特点，发现它们与人类认知的双过程理论中直觉和理性高度一致，为融合符号与数字知识表示和推理奠定了理论基础；最后，从空间认知理论出发，提出基于符号空间化的知识表示和推理方法，将现有基于低维向量的方法提升至基于区域及其拓扑关系的表达，并分析可能面临的理论和技术挑战，为符号和数字的融合提供了一条可行途径。
人工智能研究的趋势与挑战
人工智能的目标是研究和实现能够像人一样具有感知、学习、推理和规划等智能行为能力的智能系统。图1给出了人工智能的符号主义和连接主义的发展。
以符号推理为基础的知识驱动方法被认为是第一代人工智能（符号主义人工智能）。1977年，ACM图灵奖获得者爱德华·费根鲍姆(Edward Feigenbaum)在第五届国际人工智能会议上提出，将知识融入计算机系统的知识工程研究领域，去解决只有领域专家才能解决的复杂问题，建立了智能系统就是“知识库+推理引擎”的智能系统框架。基于符号知识表示和推理的各类专家系统在医疗诊断、地质勘探等领域的应用，将人工智能研究推向高潮。基于符号的知识推理的方法多利用人工编写的或者从已有知识库习得的逻辑规则进行知识推理。人工编写逻辑规则的方法难以适应大规模知识推理的需求，存在推理覆盖度低和推理效率低的问题。知识库的不完备性也使得从稀疏数据中学习得到的逻辑推理规则准确性不高，尤其是随着推理规则阶数的增加，规则的准确性下降迅速。
以统计机器学习、深度学习为基础的数据驱动的第二代人工智能方法从20世纪80年代后期逐渐兴起，特别是当前深度学习主导的人工智能处于前所未有的兴盛时期（连接主义人工智能）。“数据+算力+算法”的智能系统架构利用不断增加的大数据、高效存储计算能力和先进的深度学习算法产生智能行为。第二代人工智能在计算机视觉、机器翻译和自然语言处理中取得了巨大的成功，成为端到端特定智能任务的典型模型。
然而，当前以深度学习为代表的人工智能仍然面临很多问题，距离人们想象当中的“智能体”还有很大差距，还不能实现第一代智能系统框架试图做的事情，如推理、规划及其过程的解释[1]。基于深度学习的知识推理将传统的逻辑推理看成一个检索过程，通常利用表示学习方法学习知识库中实体、关系的向量化表示，然后利用向量间的数值计算替代传统的基于符号的逻辑推理。这类方法覆盖度高、推理速度快，但是推理准确度低、对抗性差，容易被欺骗，推理过程可解释性差。
中科院院士、清华大学教授张钹指出[2,3]，第三代人工智能是实现可解释的、鲁棒的、可信安全的智能系统，实现带理解的人工智能。美国国防部高级研究计划署(DARPA)也提出，第三代人工智能是能够实现情景自适应的智能系统，是具有感知、推理、规划和学习能力的智能系统[4]。张钹院士进一步提出第三代人工智能是“大数据+算法+算力+知识”的架构，强调了知识在实现可解释推理和规划中的重要作用。因此，数据驱动的方法如何利用知识表示和推理获得智能系统的可解释和鲁棒性是当前人工智能的发展趋势，也是面临的重要挑战。
两类人工智能方法的特点及其与人类认知的一致性
符号主义方法在推理和决策中关注知识的结构和规则。知识表示和推理的符号主义方法对知识进行概化和显性的表示，知识可理解，虽然可以实现可验证和可解释的推理，但是符号推理对输入数据有极高的要求，不能容纳噪声，推理规则手工构建，容易存在知识匮乏，导致推理缺乏可伸缩性。目前被广泛应用的大规模知识图谱通常不完整而且存在不一致性，知识图谱的符号主义推理继承了符号推理系统的这些弱点，不能满足当前基于大规模知识图谱的推理任务。
与符号主义方法相对的连接主义方法，建立了神经网络模拟大脑彼此相连的神经元。输入和输出都被表示成连续空间中的实值向量，知识被表示成神经网络中连接的权重。知识推理就是在样本学习的基础上以向量相似计算来近似得到结果。连接主义方法有很多符号方法不具备的优点：无须手工构建推理规则、可以处理大规模数据、对输入具有极强的鲁棒性。这种推理有效地模拟了人脑在不确定条件下的近似推断方法[5,6]。
但是，神经网络损失了符号主义方法的优点：神经网络的学习完全依赖于训练数据（通常需要大量高质量的训练数据），其推理质量受训练数据质量的影响，推理结果不具有可解释性和可验证性。目前虽然有基于深度学习的知识推理的相关研究，如多跳推理、知识补全等工作，但是距离完成人工智能系统的自动推理、规划及其推理过程的可解释还有很大距离，利用相似计算进行的近似推理能否达到符号推理的质量是一个悬而未决的问题[7]。
符号主义方法和连接主义方法在输入输出以及功能上有明显的互补关系[8,9]，如表1所示。这种互补关系可以通过人脑的两种思维系统—快思维（系统1）和慢思维（系统2）[10]的互补性来解释，如图2所示。在人类认知中，系统1的基本功能是激活相关联的对象：知识、情感、动作，被激活的对象继续激活与其关联的对象，将激活的内容构建成一个“和谐”的故事。只要“和谐”，系统1就认为是对的，这导致系统1容易被欺骗。系统2的基本功能是数学计算和逻辑推理，它遵循规则，执行计算、推理，并做出深思熟虑的选择。系统2能改变系统1的工作方式。如果没有系统2，系统1几乎可以自动、快速地相信所有东西。系统2和系统1之间的互补协调关系启示我们应该将神经网络和符号系统统一起来进行研究，探索融合它们的新型知识表示和推理方法。因此，融合数字与符号的知识表示和推理成为实现大数据环境下具有鲁棒可解释推理能力的智能系统的可行途径。在2019年国际人工智能学会年度大会(AAAI 2019)上，名为“人工智能未来20年路线图”的Townhall会议将融合数字与符号的推理作为人工智能未来20年亟须解决的问题之一[11]。ACM图灵奖获得者约书亚·本吉奥(Yoshua Bengio)在第33届神经信息处理系统大会(NeurIPS 2019)上也指出，目前的深度学习主要集中在系统1的研究，未来需要从系统1的深度学习研究发展到系统2的深度学习研究，实现系统2的逻辑推理功能[1]。
融合数字与符号知识推理的可行途径
知识图谱是对客观世界认知的反映，以结构化形式描述对象（概念、研究基础实体、事件和规则等）及其之间的关系。知识图谱所反映的语义空间与人脑中的空间认知模型具有一致性[12]。认知理论研究表明，人脑中的认知模型是以认知的物理空间为参照来描述的对象之间的关系[13,14]。空间认知模型是描述物理空间中物体间关系的空间模型，用空间区域表示物体，以空间区域之间的拓扑关系为基础表示物体间的关系，如方位关系和距离关系[15~19]。当前深度神经网络将所有对象表达成低维实值向量空间中的点，无法准确表示人类认知空间中这些对象之间的复杂关系。因此，需要将深度神经网络中用向量表示的对象提升为区域表示，以区域间的拓扑关系描述以符号表示的知识图谱中对象之间的结构关系，以此构建融合数字与符号的几何认知空间，实现对知识图谱表征的符号语义空间与深度学习得到的向量空间的有机结合。
图3给出了一条融合数字和符号知识表示和推理的研究思路，具体以认知理论中认知空间的拓扑表示为理论支撑，通过将数字空间的向量表示提升为区域表示，与符号几何空间化表示结合，既可以保留深度学习的向量特征，又可以通过区域间的拓扑关系学习到知识驱动方法的知识结构，对于突破当前深度学习难以利用已有知识的结构进行有效可解释的推理计算，以及克服当前符号推理中知识不足带来的推理缺陷，具有创新意义和先进性。
实现上述思路面临理论和技术两方面的挑战：
在理论研究方面，空间认知理论认为物理空间是人类认知的第一个领域，其他领域的认知都把物理空间的认知当作参照领域，几何结构被认为是除符号主义和神经网络外的另一种知识表示形式[20,21]，认知的几何空间中，客观世界认知的对象表示成物理空间的区域，对象之间的关系表示为物理空间区域之间的拓扑关系。符号空间化的向量提升需要将深度学习得到的向量很好地保留在它对应的区域中；符号投射需要将符号结构无误差地对应到空间关系（拓扑、方位、距离）。在过去的3年时间里，笔者用几何构造的方法对树结构知识的空间化进行了探索研究和实验验证[22]。在大规模实验中，我们证明了这种表示的存在[23]，并在概念上下位结构推理和三元组分类预测实验中得到了有效验证[23,24]。除常见的树结构表示外，知识图谱还包含大量的复杂结构，如概念、实体、属性及其关系，这些构成了更复杂的图结构，如有向无环图和格结构等。在已有的研究基础上，对更广泛知识结构的知识图谱和它从表示学习获得的向量，是否都存在符号空间化表示，以及如何基于几何空间对现有的知识图谱推理方法进行改进，使其能同时展示向量推理的鲁棒性和符号推理的准确性，这是未来基于空间符号理论知识表示和推理面临的理论挑战。
在技术方法方面，如何有效利用几何构造方法把知识图谱中的结构信息用高维球体间的空间关系和表示学习的向量融合起来，在既包含知识结构信息又有相似度信息的高维球上寻找解决问题的方法，是基于空间符号理论知识表示和推理面临的技术挑战。具体地，在知识表示中，需要研究用高维球体表示更复杂的一对多关系的知识图谱结构的方法，需要考虑几何空间中区域之间更多拓扑关系，并把现有的反向传播方法与几何构造方法结合起来覆盖知识图谱中的各类关系，这些都是知识图谱的符号空间化知识表示面临的挑战。在知识推理中，几何空间知识图谱区域化和拓扑关系的表示可以克服原有深度学习以相似度计算为基础的推理的局限性，可以在高维空间上进行严谨的结构化推理。但是也还有很多问题需要探讨，如：如何在符号空间化的知识图谱上减少推理路径的搜索规模，提高多跳推理的性能和推理准确性；如何学习空间区域之间拓扑关系隐含的推理规则，实现显式地规则空间化；如何将实现在符号空间化的结构上实现复杂逻辑关系推理等。
综上所述，基于空间认知的知识表示和推理的研究对于突破当前深度学习学到的语义隐含、难以利用已有知识进行有效可解释推理具有重要意义，是一条融合数据与符号的知识表示和推理的可行途径，研究成果可以为实现鲁棒可解释人工智能奠定良好的基础。
参考文献
[1] Bengio Y. From system 1 deep learning to system 2 deep learning[R]. Keynote at the Thirty-third Conference on Neural Information Processing Systems, 2019.
[2] Zhang B. Towards a Real Artificial Intelligence[R]. Global Artificial Intelligence & Robotics Summit 2018.
[3] Zhang B. Knowledge and Artificial Intelligence[C]//Sino-German Symposium on “Integrating Symbolic Representation with Numeric Representation for Commonsense Reasoning” 2019.
[4] Gunning D. Explainable Artificial Intelligence(XAI)[R]. Defense Advanced Research Projects Agency. 2016.
[5] Tversky A. and Kahneman D. Judgment under uncertainty: Heuristics and biases[J]. Science, 1974, 185:1124–1131.
[6] Hinton G. E.. Implementing semantic networks in parallel hardware[J]. Parallel Models of Associative Memory, 1981:161–187.
[7] Bechtel W, Abrahamsen A. Connectionism and the mind: Parallel processing, dynamics, and evolution in networks[M]. Blackwell Publishing, 2002.
[8] Chalmers D J. Subsymbolic computation and the Chinese room[J]// The Symbolic and Connectionist Paradigms: Closing the Gap. Lawrence Erlbaum, 1992: 25-48.
[9] Dinsmore J. Thunder in the gap[M]. The Symbolic and Connectionist Paradigms: Closing the Gap. Lawrence Erlbaum, 1992: 1-23.
[10] Kahneman, D. (2011). Thinking, fast and slow[M]. Allen Lane, Penguin Books. Nobel laureate in Economics in 2002.
[11] Gil Y, Selman B, desJardins M, et al. Developing a 20-Year AI Research Roadmap for the US[R]. Townhall Meeting at 2019 Conference of the Association for the Advancement of Artificial Intelligence. 2019.
[12] Tversky, B. and Lee, P. (1999). How Space Structures Language. In: Spatial Cognition. pp 157-175
[13] Feldman J. From Molecule to Metaphor: A Neural Theory of Language[M]. The MIT Press, Cambridge, Massachusetts, 2006.
[14] Lakoff, G. and Johnson, M. (1980). Metaphors We Live By. The University of Chicago Press, Chicago. Citation is based on the version reprinted in 2003.
[15] Piaget J, Inhelder B. La représentation de l'espace chez l'enfant[J]. 1948.
[16] Piaget, J. (1954). The Construction of Reality in the Child. Routledge & Kegan Paul Ltd.
[17] Smith, B. (1994). Topological Foundations of Cognitive Science. In Eschenbach, C., Habel, C., and Smith, B., editors, Topological Foundations of Cognitive Science. Buffalo, NY. Workshop at the FISI-CS.
[18] Dong T. A comment of RCC: from RCC to RCC++[J]. Journal of Philosophical Logic, 2008, 37(4): 319-352.
[19] Tversky, B. (2019). Mind in Motion. Basic Books, New York, USA.
[20] Gärdenfors, P. (2000). Conceptual Spaces – The Geometry of Thought. MIT Press, Cambridge, Massachusetts, USA.
[21] Gärdenfors, P. (2017). The Geometry of Meaning: Semantics Based on Conceptual Spaces. MIT Press, Cambridge, Massachusetts, USA.
[22] Dong T. A Geometric Approach to the Unification of Symbolic Structures and Neural Networks[M]. Studies in Computational Intelligence vol. 910. Springer Nature, In Press.
[23] Dong T, Wang Z, Li J, et al. Triple Classification Using Regions and Fine-Grained Entity Typing[C]// AAAI 2019.
[24] Dong T, Bauckhage C, Jin H, et al. Imposing category trees onto word-embeddings using A geometric construction[C]// ICLR 2019.
特别声明：中国计算机学会(CCF)拥有《中国计算机学会通讯》(CCCF)所刊登内容的所有版权，未经CCF允许，不得转载本刊文字及照片，否则被视为侵权。对于侵权行为，CCF将追究其法律责任。
作者介绍
李涓子
CCF高级会员。清华大学计算机系教授。主要研究方向为语义Web与Web服务、社会网络挖掘。lijuanzi@tsinghua.edu.cn
董天石
德国波恩亚琛国际信息技术中心(B-IT)和莱茵鲁尔机器学习研究中心(ML2R)研究员。主要研究方向为人工智能基础、空间表示和推理。dongt@bit.uni-bonn.de
唐杰
CCF杰出会员，CCCF前动态栏目主编，CCF学术工委主任。清华大学计算机系教授。主要研究方向为人工智能、知识图谱、数据挖掘、社交网络和机器学习。jietang@mail.tsinghua.edu.cn
点击“阅读原文”，加入CCF，获得更多CCCF文章。