也谈Magi系统：知识(非搜索)引擎下的别样高度与落地批判

2019年底，Magi项目突然火了，peaklab在此基础上花了近两年的时间重构了整个Magi系统，并在其基础上构建了全新的 http://magi.com。

去年，受magi工作的启发，我的一个主要工作就是和团队做了一个实时事理知识学习与搜索引擎学迹，该引擎面向事件，通过从非结构化文本中抽取事件描述，事件之间的因果逻辑关系，提供了一个事件推理搜索服务。

但是，到后面，我们越来越发现，该平台是很好玩的，并且定位为技术能力展示的，其严重缺乏业务性，没有解决业务问题，所以严格意义上不能称为产品，也更不用谈及落地了。

两年后的现在，Peaklab的作者认为，"2019 年的 http://magi.com 只能算是 Magi 系统的 shell，主要用来给客户演示。那时我们将全部精力都投入到了 “基于不可靠的纯文本由机器自动构建尽量可信的知识图谱” 这一使命上，其核心任务以一个字来概括就是 “造”。而本次 2021 版的 http://magi.com 则是围绕着用户设计的，意在让人更自然地与知识进行交互，同样以一个字来概括就是 “用”。

而就回到magi本身，其真正的定位是什么，是否能够成为一个真的有用的产品或其他，撇开一些铺天盖地的PR报道不说，大家对于magi的理解是什么？百度、360、谷歌是做不了么，技术不到位么？这些问题都值得我们思考。

本文就上述问题，援引知乎等评论等真实文本以及一些分析文章，来谈谈这个问题。

一、为什么要做magi？知识而非搜索引擎

Magi是一个知识引擎，不是传统意义上的搜索引擎。

Peaklab的季逸超在2019，2021年先后在知乎发起了如何评价magi的提问，引起了强烈反响，我们从19年的回答中，我们可以看到他对magi的建设初衷。

“Magi 不依赖任何“知识库”，它是一种从纯文本自动构建尽量可信的知识图谱的技术。我们希望 Magi 能帮助知识工程的规模化，让各种知识图谱不用过于依赖百科维基等手动维护的数据库”

“我们的本意不是做一个供日常使用的网页搜索引擎，magi.com 在互联网公开文本中应用 Magi 的提取技术学习知识，通过引入交叉验证和来源质量机制获得额外的统计量，从而进一步完善提取技术本身。甚至可以说这个表面上的搜索引擎。”

http://magi.com 并不是要取代传统搜索引擎的使用场景。任何搜索引擎的使命都是整理并检索信息，http://magi.com 和传统搜索引擎的本质区别在于信息的组织形式。

传统搜索引擎围绕文档 (document) 构建 (例如微信中的一篇文章、百度中的一个网页、抖音中的一个视频)：用户搜索得到的结果是未经加工的原始内容，且文档之间是孤立的，而 http://magi.com 则是围绕知识 (knowledge) 构建的。

利用 AI 对原始内容进行理解后，为用户提供更细粒度的结果，且每个结果都是综合多个文档的内容而来的，因此，我们将 http://magi.com 定位为一个知识引擎，满足用户定向获取密集知识的需求，具体而言：

1、定向：用户是带着问题来的，而不是在 “刷”，此时进行推荐反而是一种干扰，这与现在主流的视频和文章推荐场景截然相反；

2、密集：搜索常发生在紧凑的事务中，例如工作中收集信息时，用户期望的不是大量罗列 “XX号” 文章或链接，而是能一目十行的综述、报表、答案；

3、知识：功能性质的需求已被各 App 分流，更不需要再做天气、股票等小工具，用户搜索目的相对集中在知识和资源，知识尤指不被单一平台控制的通识信息。

二、知识引擎下的知识抽取特色

在知识引擎这个目标下，正如我们所看到的，其围绕着知识的抽取，展示做了一些很有意思的事情。

1、真正意义上的开放信息抽取

信息关系抽取领域的经典任务SemEval-2010 Task 8，其中规定了两个 nominals 之间 9 种区分顺序的 semantic relations，可以抽象为 19-class 的分类问题 (2x9关系+1无关)，比如 “Member-Collection” 这一关系指某实体是某集合的一员。事实上，几乎所有信息抽取系统都需要明确或隐含地预设此类语义关系，具体体现为关键动词表或隐含的期望 predicate 等形式。

以最常见的金融领域应用为例，某特定产品只需要在一篇公告中找出客户所关心的信息，如 “A 投资了 B”、“C 本季收入 [\d.,]+ 元” 等关系即能提取出关键信息；很多时候此类产品的候选实体 {A, B, C, …} 都是有预设库的，而且还能对数字等信号用正则表达式特别处理。对于各种细分领域的行业应用，这么做能在满足需求的前提下将问题的复杂性大大降低。

Magi不预设predicate/verb，实现真正意义上的“Open”Information Extraction，根据他们的报道， Ireul 通过精巧的神经网络模型实现了不限定领域、不预设关系、不利用格式、不依赖句法、不绑定语言的信息抽取能力，但也正是因为其独特的模型设计导致了难以将序列形式的自然语言进行充分并行，巨大的计算量最终转化成了部署时高昂的 GPU 成本。这一点在2021版本得到了改善。

2、结构化知识的可信度计算

获取高质量的知识是知识引擎的第一要务。

我们可以感觉到的是，互联网语料质量参差不齐，抄袭拼接、自动生成、恶意篡改等行为会造成大量事实性错误，甚至可能让模型在持续的学习调整过程中越来越差。

对于这类问题，最简单也是最常用的方案就是设置可信来源的白名单机制，例如仅学习权威媒体和专业提供者的内容，而无视类似于社交平台或自媒体的 UGC 来源。白名单机制确实能避免很多麻烦，但也同时损失了大量的有价值的信息，尤其体现在一些边缘性的、亚文化的、无权威概念的领域。

因此，magi为此确实带来了一个耳目一新的改变，整个系统持续在线上学习、聚合、更新、纠错，每秒都在变，并为此制定了一套可量化的可信度度量方法。【这个与NELL等系统有异曲同工之妙】

1）Clarity：信息在来源文本中表达的清晰度和客观程度

清晰度既包含文本自身语义层面的准确，也包含 Magi 提取模型认知的激活强度（可近似理解成 AI 认为正确的概率）。

语义层面，一般关注语气是否中立平和、上下文是不是在否定、文本是不是类似于习题的疑问句等等，加上更多难以明确描述的但模型（可能）已经掌握的信号，比如整个文章是不是 troll。提取模型的激活强度可直观理解成 Magi 对自己读到的信息有几成把握没理解错。

"通常来说，上下文长而复杂、表达隐晦、主语和指代不清等情况下 Magi 更容易犯错，会产生一些 false positive。好在，学习的过程是持续进行的，这些错误会在 Magi 从别处学到更可靠的信息时被过滤或修复。"

2）Credibility：可交叉验证的来源的数量、质量、关联

学术领域，一篇论文的引用越多，可认为其影响力越大；web 搜索中，一个 URL 的 backlink 越多，可认为其重要性越高。对于知识，我们认为某一事实在越多的上下文中被表达，则可认为其正确性和流传度更强。

值得注意的是，网络中有大量转载、抄袭、复读机，所以我们进一步定义为：对于某一事实，有越多高质量的来源用不同的上下文和表达方式去提及，则可认为其越可靠。

"我们采用类似 Gyöngyi et al. (2004) 的 TrustRank 机制去追踪各个来源自身的质量，信誉优秀的作者的文字和牛皮癣广告页上的内容不会被一概而论。而不同的上下文和表达方式体现了内容是经过思考和再提炼的，在 magi.com 展开的来源卡片中，我们的用词是 “%d组上下文”，正是因为我们会把过于相似的来源聚合，且这种相似不只是字面上的重复，而是上下文表达方式的接近。"

3）Catholicity：信息的普适性

例如随着时间推移的变化情况，以及是否含有恶意或非法内容等方面。做过搜索引擎或爬虫的人一定知道，互联网上是没有可信的日期的，你只能确定某内容一定出现在本次抓取之前，但页面上写的 “发布于一小时前” 很可能是骗你的。

于是，Magi 不仅会尝试从内容中探测信息产生的时间，还会对有多种可能性的知识去追踪起止时间和热点区间（例如职务变更和总统换届），并依此过滤一些噪音。普适性自然也包括信息是否适宜被展示。目前，我们综合多种方法降低可能带来不良信息的内容来源被用作学习的可能性，并将持续改进以保证 Magi 在其运营地区能配合相关部门，在相关法律法规框架下，合规地为用户提供服务。

3、实体的消歧与聚合

如果把实体消歧问题限定于静态的语料和有限的类型，可以使用朴素的分类算法将同名的实体进行准确分类。magi在从一篇文档中尝试提取知识时，会使用上下文敏感的语言模型将被提取实体与关系、所在片段、来源文档编码成多组向量一同保存。

离线分析系统在遇到同名实体时，首先会利用上述数据进行无监督聚类，降噪后再对每一个簇分别进行核心上义词选举，进而命名该义项。上述过程每时每刻都在进行，新学到的知识会让对应实体的义项进行动态的分裂、归并、重命名。

最终，实现了零预设的动态实体消歧义，并为 http://magi.com 的实体结果增设了义项筛选工具栏。对于问题类查询，Magi 会自动根据问题语境来推断合适的义项并给出对应的知识图谱结果。

二、知识引擎下的信息展示形态

1、面向知识的实体消歧聚合展示

Magi实现了零预设的动态实体消歧义，并为 http://magi.com 的实体结果增设了义项筛选工具栏。对于问题类查询，Magi 会自动根据问题语境来推断合适的义项并给出对应的知识图谱结果。

Magi 使用机器学习技术自动区分同名实体的多种义项，用户可使用 magi.com 提供的筛选工具栏查看对应义项的结果。

3、多实体下的意图理解

构建知识图谱时，Magi 倾向于以规范的文本记录知识，但用户在进行查询时的用语却是千奇百怪的。假如询问一个人 “勇士队老大是谁？”，想必他会反问 “你所谓的老大是指？”。正是由于这种不对称性和不确定性，很多被保存在知识图谱中的信息难以被检索到。

事实上，在开源图数据库方案中，支持模糊匹配已经十分难得，多数情况下都会要求用户使用规范的关键字或是 GQL/SPARQL等结构化查询语言来发起检索。

Magi 的知识图谱不仅能支持模糊搜索，还能对查询的意图进行理解并给出多种解读。例如，搜索 “勇士队老大是谁” 时，Magi 会将问题同时解读为查询 a. 勇士队的老板；b. 勇士队的总裁；c. 勇士队中年龄最大的球员，并分别给出答案。

Magi 能够理解以自然语言形式表达的问题，并针对多种可能的解读和潜在意图分别给出对应的结果。

4、非关键词的语义搜索

传统搜索引擎通常使用倒排索引技术将文档中的关键词编入能够快速检索的索引中，用户在发起搜索时，包含问题中关键词的文档将被召回作为结果候选。

关键词索引模式在过去的三十多年中获得了极大的成功，但事实上它预设了一个与现实情况不符的前提：能解答某问题的文档中必须包含该问题的文本才能被搜到。

也正是因为这个基本矛盾，用户和内容创作者们都被迫了解并练就了权宜之计：

用户们学会了在脑中把自己的问题转换成由空格划分的多个关键词，若搜不到满意的结果还要调整关键词再试试运气；创作者们更是深谙 SEO 之道，即使让文字变得啰嗦也要把相关的关键词一一覆盖，大家所唾弃的营销号其实就是该问题的终极体现。甚至可以说，由于这个天生的缺陷，传统搜索引擎从未能够完全利用它们所收录的内容。

Magi 全新的语义搜索系统则使用了与传统搜索完全不同的方法，文档的相关性不再由关键词的匹配度决定，而是通过对内容进行理解，由问题和候选文档所表达的信息的关联性/因果性来衡量。根据用户问题所选出的文档，不再需要重复提及问题文本，只需要逻辑上能够解答该问题即可。

用一个最极端的例子来说，虽然 http://magi.com 主要收录中文内容，但由于不再依赖关键词机制，所以无论使用哪种语言来询问，都能获得相关的结果，甚至是从右向左书写的阿拉伯语都可以。

5、更为直接了当的知识回答

语义搜索摆脱了关键词的限制，实现通过对内容的理解来配的文档。但是仅找到文档却不代表大功告成，我们还需要革新搜索的最后一步——结果高亮，并使其与知识图谱有机结合。

传统搜索引擎结果页面中，通常会高亮显示匹配的关键词。人们似乎已经习惯了这种使用体验，但也不难发现这其实是反直觉的：

假如我想知道 “荷兰豆的原产地是哪里”，传统的搜索高亮逻辑会将 “荷兰豆” “原产地” 这两个已知的字眼通篇加红强调，而想要知道的答案却需要从大量正文中去寻找。

另一方面，在以知识为核心的语义搜索场景下，结果中的文本可能完全不包含问题关键词，所以传统的复读机式的高亮无法适用。

为了避免对用户造成误导，http://magi.com 的直接回答都会明确给出来源上下文供用户进一步判断。

对于事实性问题，magi.com 会尽可能给出明确的直接回答，为用户节省从文本中寻找答案的时间。

对于观点性或尚存争议的问题，magi.com 会将结果中的观点或重点片段高亮展示，以供用户参考。

通过实现直接回答能力，http://magi.com 在客观的知识图谱之外增加了对主观问题的处理能力。不仅如此，事实性直接回答还为 Magi 知识图谱提供了额外的双重验证机制，系统会捕获每次知识图谱和直接回答给出不一致结果的情形，然后基于权重投票决定最后的输出，无形之中致敬了《Neon Genesis Evangelion》中的 MAGI 超级计算机。

6、知识标准化任务上的数值计算

传统信息抽取常聚焦于实体之间的关系的提取，而我们认为数值属性同样非常重要。知识图谱中的数值信息可以用来进行过滤和排序，进而满足各种上游应用。

例如，舰船爱好者可以通过调用知识图谱接口来获得各种航空母舰的数据，然后分析各种型号舰船的排水量和航速之间的相关性。

目前，依靠人工编辑的知识图谱具有较高的准确性和标准统一的数值信息，但其覆盖面和更新频率都无法满足日益增长的需求；

Magi 通过人工智能技术将知识图谱的构建自动化，并在此前成功实现了数值信息的抽取。

然而，互联网和各种自然语言文档中对数值的表达方式却各不相同，造成了可以提取但难以标准化的局面：同样的物理量可以不同的单位表示，而同名的单位却又存在歧义，例如 “秒” 可能是时间单位也可能是角度单位。

为了让知识图谱中的数值具有可计算性，magi研发了基于统计学习的自然语言数值提取和标准化模块 Sandalphon，其不仅能够从自然语言文本中提取出混杂阿拉伯数字和汉字的数值信息，还能通过自动求反函数将单位统一成国际单位制 (Système International d'Unités) 的标准量纲。

当遇到具有歧异的单位时，Sandalphon 能够通过分析上下文预测最可能的量纲：例如，在中文语境下讨论天气时 “度” 一般指温度单位摄氏度，而描述建筑时 “度” 更可能是角度单位。对于 “马赫” 等常用的无量纲数，Sandalphon 也会根据常见场景提供换算。对于范围数值，Sandalphon 会记录整个范围区间，并计算均值等统计量以便于对比和排序。

除此之外，Sandalphon 还能够理解自然语言中表达的不确定性概念，并将知识图谱中的数值标记为近似值。

Magi 基于对上下文的理解将以自然语言形式存在数值信息转化成可参与计算的标准化数据。

7、实时信息演变监控下的的时间脉络

为了追踪信息被提及频次随时间变化的趋势， http://magi.com 提供知识元组粒度的时间轴采样。相关统计并非类似 Ngram Viewer 般基于关键词组合共同出现的频次，而是基于语义关系自下而上构建的。

前者的方法缺陷在于许多情况下统计出的结果并不能准确反映客观事实随时间变化的趋势。设想这样一个场景，一个球员在退役之后又回到自己的球队担任教练，此时一个基于关键词共现频次的系统尝试归纳总结球队教练随时间的更迭时，不同文章中该球员姓名、球队名称、以及 “教练” 这三个关键词共同出现的情况不论在该球员现役阶段还是教练阶段都会高频发生。在没有更多外部信息支持的情况下，这样的简单统计难以总结出该信息正确的时间顺序和断点。

http://magi.com 采用的基于语义关系的统计，可以有效避免此类错误，从而能够在没有额外人工介入的情况下，正确归纳总结事实随时间变化的情况。

magi.com 的知识详情面板以元组粒度提供丰富的信息，包括语境、数值、趋势、脉络、来源等。Magi 系统在对知识进行可信性评估时，交叉验证机制是重要的信号，其背后的逻辑是某一事实若被更多高质量来源在不同上下文中用差异化的表达方式提及则更可靠。

三、真实用户体验下的magi褒与贬

如果理解magi是一个知识引擎，能力展示的定位后，我们可以发现很多有趣的东西，但一旦炒作为搜索引擎与百度，谷歌等搜索产品的竞品，magi则会受到很多专业【技术，落地、产品】上的挑战。

1、好玩、有趣的搜索体验，但好玩不一定有用

"个人感觉http://magi.com的确是有一个比较宏大世界观的搜索引擎，也是一个有潜力颠覆现有搜索格局可能性的玩家。"

原因有几个：对网页文本理解的深度更深，搜索更简单。简单随机搜了几个问题，都能在不打开页面的情况下得到解答，每个答案的置信度等有迹可循，有精确的收录时间，发表时间等实体关系的表达。感觉很清晰。

最直观的体现就是，不用像百度一样一页一页翻箱倒柜地点进去看。而是能直接看到与我搜索内容高度相关的信息，对网页的深度理解能力将重塑原有广告格局。对于原有互联网广告需要点击进入原页面来说，magi直接跳过了这一步，直接把关键内容、关键结果抽取出来了。（那现有的页面广告绝了？）把现阶段NLP技术的深度完美地应用到了搜索场景之中，并且用一个独有的世界观来运转数据。结果就是让网络检索这个场景的深度提升了一个级别。

使用magi，我们可以看到很多惊喜的结果，但也存在着不少滑稽的结果。

"现在的文科小编啊，互联网寒冬实在没啥好报道的，总想搞些大新闻，然后把 BAT 批判一番。自行对比一下搜索结果吧，我要这些花里胡哨的数字干嘛？一个有用的都没有！"

​

2、检索结果“可溯源”的知识实证，把决定交给使用者

人机互助的最大一个问题就是AI需要向人类解释为什么要这么做。而Peak Labs出版的这个Magi就是这样的一种形式。他不是像其他搜索引擎一样，意图像用户提供最后答案（比如很多人都认为搜索引擎的最后状态就是机器问答，那种会回答宇宙答案是42的那种）。

而Magi似乎是往前走了一步（但野心更大，用上了life long learning，通过自己比对来去噪，如果算法本身也是类似NAS这种，可以自我进化，那就有意思了。），而是把关系梳理出来，让用户甚至是另一个AI来做参考，一定程度上提高了可靠性和和可解释性。

2、技术层面打95分，产品层面打59分

站在普通用户角度说，这一代的magi，还是NLP的技术展示，难称之为web搜索产品。知识图谱，更贴近的其实是百科产品，比如维基百科、百度百科。因为信息和知识毕竟不同。知识是个性化的，吾之蜜糖彼之砒霜，一个内容我能从里面学到东西，学到了，这对我来说是知识。为什么做知识图谱，大家都是做垂直某一个领域的。因为底层数据上，本来这就是个枚举文本并过滤的场景，信息量不够、信息质量不够，没人买账。我把金融的知识汇总一起，给投资人看，或者把医疗论文汇总一起，给医生看。

这些都是做了个性化的，并提供了用户知识储备外的实用价值，所以都能称之为知识。信息不是，互联网早就信息泛滥了。做的越通用，价值越低，不是因为技术好不好，爬的数据多不多。而是因为用户不垂直，也就不是真正意义上的知识。这点要能解决也是今日头条做的事，是个性化推荐的事，要定义人，给人标签化。所以，勇士队老大是谁（magi团队在意图理解当中举的例子），这种问题是知识还是信息。就算我是个篮球迷，真的会有用户这么问么，个人表示怀疑。

magi好的地方在于，坚持自己选择的方向。我们该对每个AI应用和技术进步保持敬意，也给创新以时间。实体消歧、意图理解、语义搜索，技术上有量变，没有质变，各家都在做，大同小异。如果是泛知识领域的工作者，又不是需要时效性较高内容，并对信息质量也没有要求绝对准确的情况下。Magi相对一般的检索还是可以提升一部分效率的，不过看看这前面有多少个限定。。。

"也能理解magi难做，反过来想，这些技术百度就做不出来么，我也不这么认为。"

也有评论称，维持之前的评价，很新颖、很好玩、技术方案也很好，但是没有用。试了下，估计对搞分类和多样性的人基本无用。

也许有观点认为 Magi 只是 onebox 做得好一点而已. 其他搜索引擎也可以这么做. 但可能忽略最重要的一点, 传统搜索引擎为了更好的盈利, 即使做了类似的东西, 仍然会让自己的搜索结果偏向于商业化. 这是他们的收入来源, 不会做出根本上的改变. 这就会导致传统搜索引擎不可能变成一个专门为媒体内容检索服务而优化的应用。

与垂直的搜索引擎相比，有网友认为，产品也欠缺一些特定的业务逻辑，没有特定领域的知识图谱做支撑，所以无法触达到深度的信息和进行知识的推理，它更加类似于一个知识标记的辅助工具。

这也是产品主人季逸超直言不讳的地方：‘‘Magi 不是知识图谱，它不依赖任何 “知识库”，而是一种从纯文本自动构建尽量可信的知识图谱的技术。我们希望 Magi 能帮助知识工程的规模化，让各种知识图谱不用过于依赖百科维基等等’’。

3、搜索引擎的中间结果，用来技术能力展示PR

做过搜索的一看就明白了，这是直接把中间结果拿出来当卖点了，还美其名曰不预设问题。技术方向也很直接。做过NLP的都明白，太理想主义了，可以预见bad case有一堆。这个不是搜索引擎，是搜索引擎中间件。

要这么看的话就还不错。界面设计确实好，第一眼看很是高大上。但有PR之嫌，谷歌的结果里面也有信息抽取，可没有做一条线一条线连来连去的。别的搜索引擎都是求简洁明了，这个确实是另辟蹊径。但现在的情况是包装成一个花里胡哨的网页，一条条线连起来，一群群无知群众大呼次时代搜索引擎。

但事实是这个不是搜索引擎，甚至不算一个严谨的产品。

感觉像是拿来炫技而不是拿来用，关系抽取这些技术是用于找到最优结果的而不是用来展示。搜索引擎要解决的问题是搜索不是分析（不用你分析而且你分析的也不对）。目前还无法实现基本的搜索任务,或者说这个搜索引擎并不是为了普通的搜索任务而生的，更类似与一个科研成果的试水。

例如，如研发者所说，将会把与 Magi 系统解耦的独立 Leliel 模型作为 Model-as-a-Service (MaaS) 服务的一部分提供给开发者和企业用户，并同时提供适用于传统关键词搜索的兼容接口

四、总结

去年，受magi工作的启发，实时事理知识学习与搜索引擎学迹的推出，让大家耳目一新，该引擎面向事件，通过从非结构化文本中抽取事件描述，事件之间的因果逻辑关系，提供了一个事件推理搜索服务。

但是，到后面，我们越来越发现，该平台是很好玩的，并且定位为技术能力展示的，其严重缺乏业务性，没有解决业务问题，所以严格意义上不能称为产品，也更不用谈及落地了。

因此，对于magi而言，正如我们在文中所说，

如果理解magi是一个知识引擎，能力展示的定位后，我们可以发现很多有趣的东西，但一旦炒作为搜索引擎与百度，谷歌等搜索产品的竞品，magi则会受到很多专业【技术，落地、产品】上的挑战。

我们不妨多从技术上去看看，毕竟技术无罪。其中的一些思想，如知识建设，知识实证等，值得我们借鉴。

(本文内容援引了知乎等评论等真实文本以及一些分析文章，对此表示感谢)

参考文献

1、https://www.zhihu.com/question/507509831/answer/2282682184

2、https://www.zhihu.com/question/507509831/answer/2280852566

3、https://www.zhihu.com/question/354059866/answer/881655371

4、https://www.zhihu.com/question/354059866/answer/886107359

5、https://www.zhihu.com/question/354059866/answer/886921236

6、chenying.https://www.zhihu.com/question/354059866/answer/885986643

关于我们

老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

就职于360人工智能研究院、曾就职于中国科学院软件研究所。

老刘说NLP，将定期发布语言资源、工程实践、技术总结等内容，欢迎关注。