在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
地址：https://zhuanlan.zhihu.com/p/563251058
原文：https://www.lamda.nju.edu.cn/publication/chap_ABL.pdf 这篇文章是作为Neuro-Symbolic Artifici al Intelligence: The State of the Art 这本书的章节出现的，相当于反绎学习（Abductive Learning, ABL）的简要版综述，对 ABL 介绍地很全面，本文结合自己的理解做一个简要的梳理。 引入
众所周知，如何使机器学习和逻辑推理（logical reasoning）协同工作是人工智能领域的圣杯问题（holy grail problem）。 然而，一旦二者能够无缝融合，即像人类可以综合运用“感知（Perception）”和“推理（reasoning）”能力解决问题一样，那么高级人工智能将会出现。具体而言，“感知（Perception）”对应了数据驱动的机器学习过程，而“推理（reasoning）”对应了知识驱动的逻辑推理过程。 where perception corresponds to a data-driven process that can be realized by machine learning whereas reasoning corresponds to a knowledge-driven process that can be realized by logical reasoning. 将机器学习和逻辑推理相融合的主要阻碍在于二者不同的表示方式（different representations）。 具体而言，逻辑推理一般基于一阶逻辑表示（first-order logic representation），而机器学习基于属性值表示（attribute-value representation）。虽然从命题逻辑（propositional logic）的角度看，一组属性值可以对应为一个真值表，但这种转化依然很难实现，主要体现在两个方面： 当我们想把一阶逻辑子句转化为一组属性值表示的数据时，由于命题逻辑中“任意”、“存在”这样的量词会发生作用，可能导致一个子句可能对应无限大的样本集。 一个逻辑子句可能只是刻画了样本间的某种关系，并不能得到确定的某个样本。所以当我们把谓词当作属性试图展开成数据集的时候，会发现不能得到真正的属性值描述。举个例子，在“如果A比B年龄大，那么A是一名院士”这个子句中，“年龄大”这个谓词只是刻画了两个人之间的年龄关系，无法当作属性构建数据集。 在人工智能的研究史上，逻辑推理和机器学习几乎是独立发展起来的；而关于二者的融合，在过去的几十年中，也有很多研究者做出了努力。现有的工作主要可以归结为两种范式： 其一，逻辑推理引入机器学习，是一种 heavy-reasoning light-learning 的方式。PLP (Probabilistic Logic Program) 是一项代表性工作。 举个例子，以往我们见到的逻辑子句只有真或假，现在我们可以给逻辑子句增加权重，比如“如果A是B的师兄，那么A比B年长的概率是0.9”，这样就把概率引入到了逻辑中，得到了带概率权重的子句，从而可以进行一定程度的概率推理。 其二，机器学习引入逻辑推理，是一种 heavy-learning light-reasoning 的方式。SRL (Statistical Relational Learning) 是一项代表性工作。 举个例子，我们可以通过逻辑来辅助初始化贝叶斯网，然后再继续原来的学习过程。 不难看出，以上两种范式都是一头重一头轻。而文章提出的 ABL，是一种全新的范式，它通过一种 balanced-loop 的方式使二者能够更均衡更充分地协同工作。 深入
文章中通过玛雅历法解密的故事解释了“反绎”的思想，这里我试图将其简化，来更自然地理解“反绎”。 玛雅历法十分复杂，包含三种日历：Long Count、Tzolk'in、Haab'，分别位于下图红色框、蓝色框、黑色框的位置；玛雅历法中的数字/文字都象形图像来表示，由于多种原因，一种数字/文字通常会对应多种图像。有一些图像已经被解密，我们的任务是解密“？”图像代表的未知数字。 下图红框中图像代表的数字相同，且只可能是1、8、9中的一个，但不知道具体是哪一个； 基于上述两点，考古学家们总结出了16种可能性，并得到了最终的结论是红框为 1、蓝框为 4 ： 回顾整个解密过程，我们发现考古学家们是通过一组不完备的观察（已经解密出的图像，对未知图象的猜测...）来得到“？图像”集合（红蓝颜色框）最有可能的解释（它们代表的数字），这就是“反绎”的过程。 Abduction: Starting from incomplete observations, and proceeds to the likeliest possible explanation for the set. 上文我们通过玛雅文字解密的故事理解了“反绎”，下面我们去看看什么是“反绎学习”。 事实上，从人类对问题的抽象或人类解决问题的方法而言，主要有两种途径： 一种是演绎（deduction）：从一般性原理出发，得到特定的结果。比如“三段论”推理，再或者由公理推定理，都是典型的演绎过程。 另一种是归纳（induction）：从一些特定的事实出发，总结出一般的规律。比如机器学习从大量数据习得模型就是一个典型的归纳过程。 正是由于机器学习是一种归纳过程，且曾经有研究把反绎和符号归纳（symbolic induction）结合起来，所以机器学习的归纳过程和反绎过程应该能够自然地结合起来，即“反绎学习”。 前文中我们提到考古学家们从一组不完备的观察出发进行反绎，但是这组不完备的观察从何而来呢？是考古学家从经验中感知到的。这种感知能力，其实对应了反绎学习中的“机器学习过程”，即从过往数据中学到经验；而专家的推理过程，对应了反绎学习中的“反绎过程”。 传统的机器学习长下图这样，最终目标是得到分类器
在 ABL 中，我们除了训练示例
学习目标同样是映射 公式（3）：通过逻辑反绎得到 如果 下图是反绎学习的流程图，左侧是机器学习部分，右侧是逻辑推理部分，黑色内容为已有信息： 首先，在前文的讨论中，我们假定知识库是完美的。而知识库很可能是不全面的，甚至可能存在不准确的情况。这种情况下，往往需要引入人为因素来解决。 其次，即便知识库准确完备，如何最小化 Pseudo-groundings 和 实现：手写公式解密
反绎学习范式的实现高度灵活，因为不同的反绎学习模型可以由定制的机器学习算法、逻辑推理方法、转化组件（conversion parts）组合而成。这里以文章中设计的“手写公式解密”任务为例介绍一种实现（简要介绍）： 该任务需要计算机识别出图中的数学符号，还需要破解等式背后的“异或”运算法则。注意，“异或”运算规则对 ABL 是未知的，即需要 ABL 自行推断。 其中，知识库 出于实验研究的考虑，生成了两种数据集，如下图所示： 其中，相比前文中的 DBA（Digital Binary Additive）等式，这里新增了 RBA（Random Symbol Binary Additive）等式，用随机符号表示 0 和 1 。 实验结果表明基于 ABL 的方法显著优于其它方法。作者也分析了 ABL 失效的场景，几乎都是由于得到了错误的图像伪标注： However, almost all the operation rules learned by ABL were correct. In other words, the failures of ABL approaches were mostly caused by the incorrectly perceived pseudo-labels. 这很有意思，因为人类的错误主要来源于推理出错，而 ABL 的错误主要来源于认知出错。 一个应用：盗窃案件量刑
该应用的最终目的是训练一个机器学习模型，该模型从裁判文书中识别量刑要素，并利用知识库中的法律知识来学习参数从而做出最终判决，如下图所示： 象形图像代表的数字未知 - 裁判文书包含的量刑要素未知 历法蕴含的知识与感知到的数字和专家的知识库一致 - 法规的符号知识与识别到的量刑要素和法律知识库一致 另外，有限的数据集导致了量刑要素的识别模型不精准，未知的法条参数也导致知识推理很复杂，因此让二者协同互促很有应用价值。 结论
结论部分从心理学的视角阐述了反绎学习是个协同互促的过程，感觉很通透。 具体来说，人类的感知和推理是协同发展的，从某种意义上讲这就是反绎学习的思想：尽管人类的感知并不总是准确，但一旦加入了推理过程，感知结果往往可以被纠正，纠正后的结果类似于图5中的 abduced-labels ；反过来，人类的知识也可以通过不断的观察来得以丰富，类似于对知识库进行微调。 本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
“综述专栏”历史文章
更多综述专栏文章， 请点击文章底部“阅读原文 ”查看
分享、点赞、在看，给个三连击呗！