MIT科技评论：人工智能如何帮助历史学家？更好地了解我们的过去

本文原文标题为：How AI is helping historians better understand our past，出自《麻省理工科技评论》。

作者Moira Donovan，独立科学记者。

这是 1531 年的一个晚上，在威尼斯城的一家印刷厂里，一名学徒正在努力设计天文学教科书的页面布局。密密麻麻的字体和木刻插图，上面是一个天真的头像在观察宇宙中移动的形状，代表着月食。

与 16 世纪书籍制作的各个方面一样，这是一个耗时的过程，但却可以让知识以前所未有的速度传播。

五百年后，信息的生产完全是另一回事：数 TB 的图像、视频和文本在数字数据洪流中几乎立即流通，并且必须几乎同样快速地进行分析，从而允许对机器进行训练学习模型来对流程进行排序。信息生产的这种转变对从艺术创作到药物开发等各个领域的未来都有影响。

但这些进步也使得我们能够以不同的方式看待过去的数据。历史学家已经开始使用机器学习（尤其是深度神经网络）来检查历史文献，包括威尼斯和其他早期现代城市制作的天文表，这些天文表因在发霉的档案中度过了几个世纪而被弄脏或因印刷者手滑而扭曲。  

历史学家表示，现代计算机科学在遥远的过去的应用有助于在更广泛的历史记录中建立联系，从而纠正一次分析一份文档所造成的扭曲。但它本身也带来了扭曲，包括机器学习将偏见或彻底伪造纳入历史记录的风险。

所有这些都给历史学家和其他人提出了一个问题，人们经常认为，他们通过审视历史来理解现在：随着机器将在未来发挥更大的作用，我们应该向它们放弃多少过去的东西？

01

解析复杂度

大数据通过将越来越多的历史文献数字化而进入人文学科，例如美国国会图书馆收藏的数百万报纸页面和芬兰档案馆可追溯到 19 世纪的法庭记录。对于研究人员来说，这既是一个问题，也是一个机遇：信息多得多，但通常没有现有的方法来筛选这些信息。

随着计算工具的开发帮助学者解析复杂性，这一挑战得到了解决。 2009 年，奥地利科学院教授 Johannes Preiser-Kapeller 正在检查 14 世纪拜占庭教会的决定登记册。普雷瑟-卡佩勒意识到，要理解数百份文件需要对主教之间的关系进行系统的数字调查，因此建立了一个个人数据库，并使用网络分析软件来重建他们的关系。

这种重建揭示了隐藏的影响力模式，导致普雷塞-卡佩勒认为，在会议中发言最多的主教并不是最有影响力的；此后，他将该技术应用于其他网络，包括 14 世纪的拜占庭精英，揭示了其社会结构通过女性隐性贡献得以维持的方式。 “在某种程度上，我们能够确定官方叙述之外正在发生的事情，”他说。

普莱塞-卡佩勒的著作只是这一学术趋势的一个例子。但直到最近，机器学习常常无法从更大的文本集合中得出结论，尤其是因为历史文献的某些方面（在普雷塞-卡佩勒的例子中，是手写的希腊语）使得机器无法解读它们。现在深度学习的进步已经开始解决这些局限性，使用模仿人脑的网络来挑选大型复杂数据集中的模式。

近 800 年前，13 世纪的天文学家 Johannes de Sacrobosco 出版了《  Tractatus de sphaera》，这是一篇关于地心宇宙的介绍性论文。这篇论文成为早期现代大学生的必读书目。它是流传最广的地心宇宙学教科书，甚至在哥白尼革命颠覆了 16 世纪的地心宇宙观之后仍然经久不衰。 

该论文也是 1472 年至 1650 年间出版的 359 本天文学教科书数字化合集中的明星作品，该教科书共 76,000 页，其中包括数以万计的科学插图和天文表格。

在这个综合数据集中，马克斯·普朗克科学史研究所教授马泰奥·瓦莱里亚尼（Matteo Valleriani）看到了追踪欧洲知识向共同科学世界观演变的机会。但他意识到，辨别这种模式需要的不仅仅是人类的能力。因此，Valleriani 和柏林学习与数据基础研究所 (BIFOLD) 的研究团队转向机器学习。

这需要将集合分为三类：文本部分（关于特定主题的写作部分，有明确的开头和结尾）；科学插图，有助于阐明月食等概念；和数值表，用于教授天文学的数学方面。 

所有这些都给历史学家提出了一个问题：随着机器将在未来发挥更大的作用，我们应该向它们放弃多少过去的东西？

瓦莱里亚尼说，从一开始，文本就无法用算法解释。一方面，字体差异很大；另一方面，早期的现代印刷厂为他们的书籍开发了独特的印刷品，并且通常有自己的冶金车间来铸造他们的字母。这意味着需要针对每本书重新训练使用自然语言处理 (NLP) 来阅读文本的模型。 

语言也带来了问题。许多文本都是用特定地区的拉丁方言编写的，未经受过历史语言训练的机器通常无法识别这些方言。 “当你没有在后台训练的词汇时，这对于自然语言处理来说通常是一个很大的限制。”

这就是 NLP 对于英语等主流语言效果良好，但对于古希伯来语等语言效果较差的部分原因。 

相反，研究人员从源材料中手动提取文本，并识别文档集之间的单个链接，例如，当另一本书中的文本被模仿或翻译时。这些数据被放置在一个图表中，该图表自动将这些单个链接嵌入到包含所有记录的网络中（研究人员然后使用图表来训练机器学习方法，该方法可以建议文本之间的联系）。剩下的就是文本的视觉元素：20,000 张插图和 10,000 张表格，研究人员使用神经网络对其进行研究。  

02

现在时

历史图像的计算机视觉面临着与 NLP 类似的挑战；它具有里士满大学数字人文副教授劳伦·蒂尔顿(Lauren Tilton)所说的“当下主义”偏见。

蒂尔顿说，许多人工智能模型都是根据过去 15 年的数据集进行训练的，他们学会列出和识别的物体往往是当代生活的特征，比如手机或汽车。计算机通常只能识别历史悠久的物体的当代版本，例如 iPhone 和 Tesla，而不是交换机和 Model T。最重要的是，模型通常是在高分辨率彩色图像上进行训练，而不是过去的颗粒状黑白照片（或早期现代对宇宙的描述，外观不一致，并且随着时间的推移而退化）。这一切都使得计算机视觉在应用于历史图像时不太准确。 

“我们会与计算机科学人士交谈，他们会说，‘好吧，我们解决了物体检测问题，’”她说。 “我们会说，实际上，如果你拍摄一组 20 世纪 30 年代的照片，你会发现这个问题并没有像我们想象的那样得到解决。”深度学习模型可以识别大量数据中的模式，因此可以提供帮助，因为它们能够进行更深入的抽象。 

摘自 1531 年出版的 Prosdocimo di Beldomando 对 Johannes de Sacrobosco 的Tractatus de sphaera的评论中的一页。该页面显示了讨论日食和月食机制的原始文本和评论文本的部分内容 / 柏林马克斯·普朗克科学史研究所图书馆

在Sphaera 项目中，BIFOLD 研究人员训练了一个神经网络来检测、分类和聚类（根据相似性）来自早期现代文本的插图；现在其他历史学家可以通过名为 CorDeep 的公共网络服务访问该模型。

他们还采用了一种新颖的方法来分析其他数据。例如，在馆藏的数百本书籍中发现的各种表格无法进行直观比较，因为“同一张表格可以用 1,000 种不同的方式打印，”Valleriani 解释道。因此，研究人员开发了一种神经网络架构，可以根据表格包含的数字来检测和聚类相似的表格，而忽略它们的布局。

根据距天北极 48 度和 40 分钟的仰角计算的赤经值表。这些数值是由法国皇家数学家奥龙斯·芬内计算得出的 / 柏林马克斯·普朗克科学史研究所图书馆

到目前为止，该项目已经取得了一些令人惊讶的成果。数据中发现的一种模式让研究人员看到，虽然欧洲在新教改革后沿着宗教路线分裂，但科学知识正在融合。在新教城市维滕贝格等地印刷的科学文本，由于改革宗学者的努力而成为学术创新中心，在传播到整个欧洲大陆之前，巴黎和威尼斯等中心都在模仿。瓦莱里亚尼说，新教改革并不是一个被充分研究的课题，但以机器为媒介的视角让研究人员看到了新的东西：“这在以前是绝对不清楚的。”应用于表格和图像的模型已开始返回类似的模式。

计算机通常只能识别历史悠久的物体的当代版本，例如 iPhone 和 Tesla，而不是交换机和 Model T。

瓦莱里亚尼说，这些工具提供的可能性比简单地跟踪 10,000 个表更重要。相反，它们允许研究人员从记录集群的模式中推断出知识的演变，即使他们实际上只检查了少数文档。 “通过查看两张表格，我已经可以得出关于 200 年的重大结论，”他说。

深度神经网络在研究更古老的历史方面也发挥着作用。破译铭文（称为金石学）和恢复损坏的示例是一项艰巨的任务，特别是当铭文对象已被移动或缺少上下文线索时。专业历史学家需要做出有根据的猜测。为了提供帮助，DeepMind 的研究科学家 Yannis Assael 和威尼斯 Ca' Foscari 大学的博士后研究员 Thea Sommerschield 开发了一种名为 Ithaca 的神经网络，该网络可以重建铭文的缺失部分，并将日期和位置归因于文本。研究人员表示，深度学习方法——涉及对超过 78,000 个铭文的数据集进行训练——是第一个通过从大量数据中学习来共同解决修复和归因问题的方法。

阿萨尔和索默斯希尔德表示，到目前为止，这种方法正在揭示古典雅典一个重要时期的法令铭文，这些铭文长期以来一直被认为是公元前 446 年和公元前 445 年——一些历史学家对这一日期存在争议。作为测试，研究人员在不包含相关铭文的数据集上训练模型，然后要求其分析法令文本。这产生了不同的日期。他们在电子邮件中表示：“伊萨卡法令的平均预测日期为公元前 421 年，与最新的年代测定突破一致，并展示了机器学习如何为围绕希腊历史上最重要时刻之一的辩论做出贡献。”

03

时间机器

其他项目建议使用机器学习来对过去做出更广泛的推论。这就是威尼斯时间机器背后的动机，威尼斯时间机器是欧洲各地的几个本地“时间机器”之一，现已建立，用于从数字化记录中重建当地历史。威尼斯国家档案馆覆盖 80 公里的书架，涵盖 1,000 年的历史；研究人员的目的是将这些记录数字化，其中许多记录从未被现代历史学家检验过。他们将使用深度学习网络来提取信息，并通过在其他文档中追踪同一文档中出现的名字，重建曾经束缚威尼斯人的纽带。 

时间机器组织主席弗雷德里克·卡普兰 (Frédéric Kaplan) 表示，该项目现已将城市的行政文件数字化，足以捕捉过去几个世纪的城市肌理，从而可以逐栋建筑并识别居住在不同地点的家庭。时间点。 “需要对数十万份文档进行数字化才能达到这种形式的灵活性，”卡普兰说。 “这以前从未有人做过。”

贝丝·赫克尔

尽管如此，当谈到该项目的最终承诺时——通过人工智能重建的网络，对中世纪威尼斯进行数字模拟，直至社区层面——历史学家如主持这项研究的奥地利科学院教授约翰内斯·普雷泽-卡佩勒(Johannes Preiser-Kapeller)拜占庭主教表示，该项目未能交付，因为该模型无法理解哪些联系是有意义的。

普雷泽-卡佩勒自己做了实验，使用自动检测从文档中开发网络——用算法提取网络信息，而不是像他在主教研究中那样让专家提取信息输入网络——并表示它产生了很多结果“人为的复杂性”，但对历史解释没有任何帮助。

该算法无法区分两个人的名字出现在同一纳税人名册上的情况和出现在结婚证上的情况，因此正如普雷塞-卡佩勒所说，“你真正得到的东西没有解释价值。”这是历史学家强调的机器学习的局限性，类似于人们对 ChatGPT 等大型语言模型的观点：因为模型最终不理解它们正在阅读的内容，所以它们可能会得出荒谬的结论。 

卡普兰说，确实，根据目前可用的资料，需要人工解释来提供上下文，尽管他认为一旦有足够数量的历史文献被机器可读，这种情况可能会改变。 

但他想象机器学习的应用会更具变革性，而且可能会带来更多问题。生成式人工智能可用于做出预测，以充实历史记录中的空白——例如，关于威尼斯工匠作坊中学徒的数量——不是基于可能不准确或不完整的个人记录，而是基于汇总数据。这可能会引入更多非精英观点，但与标准历史实践背道而驰，在标准历史实践中，结论是基于现有证据的。 

不过，更紧迫的问题是创建虚假记录的神经网络。

04

这是真的吗？ 

现在，观众可以在 YouTube 上观看理查德·尼克松 (Richard Nixon) 的演讲，该演讲是为防止 1969 年登月灾难而写的，但幸运的是从来不需要发表。研究人员创造了 Deepfake 来展示人工智能如何影响我们共同的历史感。正如东北历史学教授丹·科恩最近在一个致力于探索数字媒体和技术如何塑造历史研究的课堂上与学生讨论的那样，在几秒钟内，人们就可以生成诺曼底登陆等重大历史事件的虚假图像。 “[这些照片]完全令人信服，”他说。 “你可以用坦克和机枪把一大群人困在海滩上，这看起来很完美。”

虚假历史并不是什么新鲜事——科恩以约瑟夫·斯大林下令将敌人从历史书中删除的方式为例——但制造假历史的规模和速度是惊人的，而且问题不仅仅限于图像。生成式人工智能可以创建读起来像维多利亚时代议会演讲一样合理的文本，正如科恩对他的学生所做的那样。通过生成历史笔迹或字体，它还可以创建看起来令人信服的书面历史记录。

与此同时，Character.ai 和历史人物聊天等人工智能聊天机器人允许用户模拟与历史人物的互动。历史学家对这些聊天机器人表示担忧，例如，这可能会让一些人看起来比实际情况更少种族主义，更悔恨。 

换句话说，人工智能（从历史聊天机器人到根据历史记录进行预测的模型）存在出错的风险。其中一些错误是良性的时代错误：在聊天机器人Character.ai上向亚里士多德询问他对女性（他认为女性低人一等）的看法，得到的答案是她们应该“没有社交媒体”。但其他的可能会产生更大的影响——尤其是当它们被混入一套太大的文件集中，历史学家无法单独检查时，或者如果它们是由对特定历史解释感兴趣的人传播的。

即使没有故意欺骗，一些学者也担心历史学家可能会使用他们未经训练无法理解的工具。 “我认为其中存在很大的风险，因为我们作为人文主义者或历史学家实际上正在将分析外包给另一个领域，或者可能是一台机器，”德克萨斯大学圣安东尼奥分校的历史学教授亚伯拉罕·吉布森说。吉布森说，直到最近，他采访过的历史学家同行还没有看到人工智能与他们的工作的相关性，但他们越来越意识到他们最终可能会将一些历史解释交给黑匣子的可能性。

这种“黑匣子”问题并非历史所独有：即使是机器学习系统的开发人员有时也很难理解它们的运作方式。幸运的是，一些专为历史学家设计的方法的结构可以提供更大的透明度。伊萨卡提出了一系列按概率排名的假设，BIFOLD 研究人员正在利用可解释的人工智能来解释他们的模型，旨在揭示哪些输入对预测贡献最大。历史学家表示，他们自己通过鼓励人们以批判性的超然态度看待机器学习来提高透明度：将机器学习视为一种有用的工具，但也像人一样容易犯错。 

05

明天的历史学家

尽管对这种新技术的怀疑依然存在，但该领域正在逐渐接受它，瓦莱里亚尼认为，随着时间的推移，拒绝计算方法的历史学家的数量将会减少。他说，学者们对人工智能伦理的担忧与其说是不使用机器学习的理由，不如说是人文学科为其发展做出贡献的机会。  

正如法国历史学家伊曼纽尔·勒罗伊·拉杜里 (Emmanuel Le Roy Ladurie) 1968 年在回应那些开始尝试计算历史以调查 1840 年代英国议会投票模式等问题的历史学家的工作时所写的那样，“明天的历史学家将是一名程序员，否则他就不会存在。” 

科睿研究院最早成立于中国香港特别行政区，是国际科学与人文科学院（International Core Academy of Sciences and Humanities）建设的综合性研究机构，致力于搭建学术界与社会间高效沟通的桥梁，将前沿的学术研究成果赋能至新时代社会发展。

作为科睿研究院主办的官方号，我们致力于打造高质量知识交流平台：持续推出与当代社会相关的洞察分析与时事评论，定期发布高质量专栏文章与交流活动，并推送有价值的学术资源和最新资讯。同时，学院积极欢迎读者们的踊跃来稿，参与我们的知识传递之旅中！

往期推荐

1

2

3

4