麻省理工最新研究：AI语言模型已与人类大脑处理语言的功能相似

论文主要观点

在自然语言处理领域，AI语言模型已经能很好地完成一些语言任务，尤其在搜索引擎和输入法等方面，AI语言模型可以帮你预测文本字符串中下一个将要输入的字词，而麻省理工的科学家发现：这些模型的潜在功能类似于人类大脑中的语言处理中心的功能。

这篇论文写道：“研究结果表明，预测性人工神经网络可作为预测语言处理如何在人类神经组织中实施的可行性候选假设。这种预测性人工神经网络为一个有前景的研究方向奠定了关键基础，即在集成逆向工程的良性循环中将自然语言处理的高性能模型与人类语言理解的大规模神经和行为测量相结合，包括测试模型预测神经和行为的能力，剖析表现最佳的模型以了解哪些组件对大脑神经的高预测性至关重要，利用这些知识来开发更好的模型，并收集新数据以优化和限制未来几代在人工神经网络上合理的语言处理模型”。（原文进行的机器翻译，点击左下角“阅读原文”，可下载原文）

但在其他类型的语言任务中，计算机模型并未展示出与人类大脑的这种相似性，这为人脑可能会使用下一个单词预测来驱动语言处理提供了证据。

认知神经科学教授 Nancy Kanwisher 说，“模型预测下一个单词的能力越强，就越符合人类的大脑”。（MIT 麦戈文脑科学研究所和大脑、心智和机器中心成员，也是这项新研究的作者之一）

该论文题目为：“The neural architecture of language: Integrative modeling converges on predictive processing”，发表在“Proceedings of the National Academy of Sciences”，可点击本文下方“阅读原文”进行下载。

研究方法

这种语言预测的AI模型属于深度神经网络模型的范畴，这些网络会在计算“节点”形成不同强度的连接，并有以规定的方式在彼此之间传递信息的层。除了用这种模型来进行自然语言处理外，科学家们也用这种模型来进行视觉识别，以便像人类大脑一样识别物体，MIT曾经的研究也表明：视觉物体识别模型的潜在功能与灵长类视觉皮层的组织相匹配。

在这项针对语言模型的研究中，MIT 研究团队采用了相似似的方法，比较了人脑中的语言处理功能和语言处理模型。他们分析了 43 种不同的语言模型，包括一些对单词进行预测优化的模型。其中包括 GPT-3（生成式预训练 Transformer 3），它可以依据给出的提示，生成与人类手动生成相类似的文本。而其他的模型则旨在执行不同的语言任务，比如在句子中填空。由于每个模型都有一串单词，研究人员测量了构成网络节点的活动。

然后，他们将这些模式与人类大脑中的活动进行了比较，并对执行三种语言任务的受试者进行了测量：听故事、一次读一个句子，以及每次读一个单词的句子。这些人体数据集包括功能性磁共振成像（fMRI, functional magnetic resonance imaging）数据和接受癫痫脑手术患者的颅内皮层脑电图测量。结果表明，性能最好的单词预测模型的活动模式与人脑中的活动模式非常相似。这些相同模型中的活动与人类行为指标高度相关，例如，人们阅读文本的速度。

Schrimpf 说，“我们发现，能够很好地预测神经反应的模型也倾向于以阅读时间的形式最好地预测人类的行为反应。然后通过下一个单词预测的模型性能来解释这两个问题。这个三角形真的把一切联系在一起。”

语言处理的人工神经网络模型与人类语言处理的比较。实验测试了不同模型的效果预测人类神经活动（fMRI 和 ECoG）的测量值和语言理解过程中的行为。候选模型范围从简单将模型嵌入到更复杂的循环和变压器网络中。刺激范围从句子到段落再到故事，并且被输入到模型，以及呈现给人类参与者（视觉或听觉）。模型的内部表征在三个主要维度上进行评估：预测人类神经表征的能力；以阅读时间的形式预测人类行为的能力；执行下一个词预测等任务的计算能力。

公众号 : sysuxz666

名称：语言生活见闻录

来源：网络（侵权可删）

● 扫码关注我们