路透研究报告：“后真相”时代自动事实核查的作用与限制 |德外独家
来源：ReutersInstitute
作者：Lucas Graves
编译：张梦
去年，记者、政策制定者和科技公司着力于寻找有效措施以应对网络假信息。政治谎言和网络谣言在“碎片化”媒体环境中的传播，加剧了人们的担忧。而这往往被视为技术问题。本报告将概述专业事实核查人员、平台公司和人工智能研究人员在创造自动事实核查技术以及处理网上虚假信息的努力，致力于阐明该研究领域的核心挑战。
“假新闻”在世界各地的影响仍然鲜为人知。美国和欧洲的研究表明，直接访问虚假新闻网站的在线用户比例非常有限，且接触这些网站的人更多地访问了主流媒体。但社交网络上，假新闻引发的关注度会超越传统新闻。而我们对“病毒式”传播的假新闻是否以及如何影响特定事件或事件的特定受众的观点和行为，还知之甚少。
在美国和欧洲，网络上暗含政治动机的假信息引发了一场关于政策选择的辩论。欧盟委员会正在审议是否以新方式管理Facebook和谷歌等平台公司。一些国家，特别是德国、法国和爱尔兰，已经通过或正在考虑以立法的形式来惩罚虚假信息的传播。
在此背景下，人们开始关注各种自动事实核查技术(AFC)打击网络虚假信息的潜力。然而，利用AFC确定公众诉求的真相并将合法观点与错误信息区分开，依然困难。
通过对该领域的事实核查人员和计算机科学家的研究和访谈，我们发现:
1、AFC尚不具备事实核查人员需要具备的对语境的判断力和敏感性。
2、尽管AFC取得了一定进展，但未来AFC系统仍需人类的监督。
3、AFC技术目前主要被应用于帮助事实核查人员识别和调查虚假信息，并尽可能有效地提供结论。
4、迄今为止，独立的、非营利的事实核查组织在开发和实施AFC方面一直处于领先地位，传统媒体的动作则较少。
5、一些事实核查组织已创造出相对低价的独立的AFC工具。然而，推进和开发大规模的AFC系统需要基金会、大学和平台公司的持续支持。
AFC的概况
AFC的研究通常集中于以下三个目标:
找出在网上和其他媒体上传播的虚假或可疑信息；
查证有疑义的信息，或核实新闻从业人员和社会成员的可信度；
对在不同媒体上，接触到错误信息的受众进行即时修正。
这些目标的实现得益于AFC处理的三元素——识别、验证和校正(见下图)。
（自动化事实核查的核心要素）
第一个自动化在线事实核查的方案出现在将近10年前。很多研究将AFC视为人工智能研究与事实核查人员的实际操作相交叉的领域。“Fast & Furious Fact Check Challenge”和“Fake News Challenge”两个编程比赛，允许世界各地的研究团队验证AFC技术处理常见问题的能力。
前两年，AFC的倡议获得了大量资金支持。伦敦事实核查公益机构于2016年开始开发AFC工具，该活动得到了谷歌以及Omidya、Open Society基金会的资金支持。杜克大学的杜克新闻实验室在2017年末，获得了Facebook新闻项目以及Knight 、Craig Newmark基金会的120万美元投资，以启动“技术与核查合作”(Tech & Check Cooperative)。今年1月，伦敦初创企业Factmata投入100万美元，创建了AFC平台。
AFC的方法
AFC工作包括系统监控网络和传统媒体上的演讲、辩论、评论、新闻报道等。这可能涉及从媒体或政治网站上抓取文本和其它材料，监控实时字幕提要或使用自动转录，因而非常困难。
（1）识别事实
AFC研究最成功的地方是从文本中提取事实。最常见的方法是结合自然语言处理和机器学习，识别进而核查陈述。例如，德克萨斯大学阿灵顿分校开发了名为ClaimBuster的AFC平台，从之前美国总统辩论中抽取了约2万句话用于培训，由程序员分类，以学习如何区分“有价值的”事实陈述和无聊的陈述。
一些事实核查机构已开始依靠软件来协助事实核查。例如，杜克新闻实验室最近使用ClaimBuster，向PolitiFact、FactCheck.org、《华盛顿邮报》和美联社的事实核查系统提供潜在的有趣陈述。然而，到目前为止，这些系统只能识别简单的声明性陈述，忽略了复杂句子中隐含的声明或要求，而这些语句是人类容易识别的。
事实上，算法在人类工作的基础上建立的真相既不是普遍的也不是永久的。例如，ClaimBuster已被优化以检测辩论陈述并在Twitter上收集信息。而特定陈述的意义和重要性可能会随历史或政治背景而改变。Full Fact的负责人威尔•莫伊提到，民调显示，在英国退欧运动登上新闻头条之前，英国居民不太关注该问题。
该组织的数字产品经理Mevan Babakar强调了“知晓事实陈述”和“理解被陈述的事实”之间存在区别： 确定事实陈述不易，但却可以实现；理解陈述的含义很困难，理解陈述的重要性更难，因为其不仅因人而异，也会因政治背景的不同而变化。
（2）验证事实
自动事实核查的主要方法是将陈述与以前的确定事实或权威信源匹配。在具备理解上下文以及交叉分析多方信源能力的基础上，专业事实核查组织才能得出结论。许多陈述并不能轻易被定为正确或是错误。但即使是看似真实的陈述也会被人揭穿。例如Brexit运动宣称英国脱欧后每周将节省£350，就对自动事实核查提出了挑战。该领域的研究人员普遍认为人们对AFC应该抱有合适的期望值。Vlachos认为，自动化事实核查更像是提高生产力的方式，并不会取代人类操作。
（3）核查以前的事实核查
今天，自动事实核查最有效的方法是将陈述与已经由一个或多个事实核查组织核查过的语句进行匹配。这给研究人员留下了难以判断的问题，当虚假陈述重新出现时，人们会使用自动化工具来提高他们的处理能力。
许多事实核查机构已开始在内部用此法来标记“惯犯”。例如，为该团队已核查过的陈述，Full Fact的内部AFC平台会不断监视一系列媒体以及与总理有关的问题。杜克记者实验室期望测试新系统，将ClaimBuster核查后的信息，与FactCheck.org、PolitiFact等其他使用Share the Facts（现已包含10,000多项事实检查的一个通用标记系统）的数据库进行匹配。这样，软件就能识别出相关陈述，并指向相关的事实核查。实验室副主任Mark Stencel介绍，他们的目标是加快报告进程和加速事实核查，整个模型并不是试图一次性解决自动化事实核查的所有问题，而是将各种各样的挑战分解成可解决的任务。
除了应用范围的局限性，该方法还存有两个障碍。首先，虽然NLP算法能可靠地抓取语句的相近变体，但后续分析仍是巨大挑战。因此，事实核查数量的增加，更多是以牺牲准确性为代价。为平衡两者，Full Fact编写了自定义搜索查询(但正在试验机器学习以改进过程)。在阿根廷的schequeado，负责AFC工作的Pablo Fernandez认为，未来人类在事实核查方面的把关仍是必需，因为自然语言处理并不准确。其次，措辞、时间或背景的微妙变化可能使陈述变得具有合理性。而即使是完全准确的统计数据，也可能在没有适当的背景下提供错误的信息。
（4）核查权威来源
目前研究中心面临的挑战是核查事实核查人员所依赖的同类原始信息来源的主张。理论上，这可能扩展自动核查的语句范围。但它要求AFC系统识别并核查独立的陈述，识别所需要的数据类型，并且从权威来源获得的数据形式是软件可应用的。
对于人工智能研究人员来说，核心问题是如何利用AFC将陈述解析成对数据库有意义的语句。在实践中，完全的自动事实核查仍局限于狭窄的领域。例如，阿根廷的事实核查机构“Chequeado”和英国“Full Fact”都会专门设计AFC模型，以匹配抓取的数据和官方数据，比如失业率或通货膨胀率等。两家公司都致力于将更多的官方统计数据作为结构化数据提供给开发商。值得注意的是，在缺乏独立媒体的专制环境中，对数据的访问往往更加有限，而事实核查也更有必要。
ClaimBuster平台还包括一个处于开发阶段的模型，该模型将陈述重新定义为适应Wolfram Alpha（一个通用的结构化知识库）的问题，拓展了可用的事实。但实际上只有一小部分陈述能从真实的政治话语中被辨识出来。ClaimBuster创始人之一、阿灵顿大学教授Chengkai Li 认为，理解陈述并发送查询请求是挑战，但更大的挑战是缺乏权威性和全面的数据，而技术方案并不能解决这一难题，因为数据质量亟待提升。
然而，Li 也指出，利用结构化数据源需要更复杂的理解力。他的实验室测试的方法是将不同类型的陈述分类，由专业的事实核查人员输入，以指导如何分析。比如，要说明美国是世界上儿童贫困率最高的国家，先定义一类关于“等级”的陈述，它会提醒AFC算法寻找特定的元素，比如比较的基础(儿童贫困率)、比较集(主要国家)等。
（5）非结构化和网络的方法
另一种研究方法是去结构化或“非引用”的验证方法。这些方法不是查找特定的权威参考，而是更广泛地搜索，可能依赖于各种各样的相关信息推断陈述的真实性。
确认特定文本是否支持特定陈述的“立场检测”是加强该方法的关键因素，也是帮助事实核查人员操作的重要方法。“假新闻挑战”让计算机科学家用谣言和新闻报道来比较立场检测算法。2018年10月将要举行的一项挑战将测试这些方法。
其他的研究集中在：解释与内容或社会背景有关的涉及可信度的各种信息，包括文体特性（比如在社交媒体或新闻报道上使用的语言）、信源的网络位置（比如谷歌用排序算法呈现出的搜索结果）或特定陈述以及链接方式在互联网上传播。
这种概率方法利用了人工智能研究的相近领域，比如谣言检测，从而将问题从确定准确性转移到评分可靠性上。事实上，一些平台公司也在努力学习谷歌和Bing的复杂语言和网络分析能力，用以优化AFC算法。
然而，有研究认为，信源的可信度不能等同于个人陈述的准确度。Vlachos表明，最危险的错误信息来自人们最信任的信源。因而推动有效的大规模措施以解决网络上的虚假信息的传播难度很大，而推动建立可信信源的制度化，可能会威胁到网络话语权的多元化和多样性。
讨论
本报告提供了自动化事实核查计划和研究的概况，涵盖了学术研究人员和专业的事实核查组织在这一领域的进展与共识，即完全自动化的事实核查仍然是遥远的目标。而发展AFC工具，以帮助事实核查人员更快更有效地应对政治谎言、网络谣言和其他错误信息的传播，是当下最有必要的。
在基金会、平台公司和其他公益机构的支持下，AFC工具正在迅速发展。不同地区的少数事实核查组织已成为开发和实施自动化技术的枢纽，为全球提供事实核查人员。今年官方会推出新工具，以追踪假新闻的传播，并自动提出相关的事实核查，以帮助事实核查人员迅速干预。
然而，AFC辨识网络假信息的自动化反应能力，在处理大规模数据以及缺乏人类监督的情况下着实有限。人工智能研究领域存在较大分歧，很多研究人员正在探索用非结构化的方法发展AFC，这方面已然取得了进步，但该技术实质是模仿人类。
理解陈述的要素并核查其权威信息的引用，受当前科学发展和缺乏数据的限制。研究人员建议，一是逐步和有针对性地建立话语分类，二是基于复杂的网络信息阵列来评估信息的质量，以此对消息或信源作出判断，而后者对人类而言缺乏透明性。目前还不清楚各种非结构化的方法将如何有效区分不同类型的假信息，且这些方法也容易受到信誉较好的信源影响。而在这过程中，“保护开放”以及“多样化的网络政治观点表达”理念也受到了挑战。
AFC未来的发展取决于研究者和实践者的共同努力：政府应增加对基础研究和现实操作的财政支持，政府和民间社会团体应努力建立开放的数据标准，传统新闻机构也应完善并拓展事实核查计划。
中国第一家
专注媒体融合的研究院
传递信念信心
剖析实践实验
探求对策方法
合作：请联系微信后台
投稿：dewaiwuhao@ctrchina.cn
长按二维码，即可关注点下方【写留言】表达您的观点和态度
欢迎将此文章转发到朋友圈