学界 | CMU通过机器学习「读心术」解码大脑复杂思想

选自CMU

机器之心编译

参与：黄小天、Smith

近日，卡内基梅隆大学官网上发表了一篇题为《Beyond Bananas: CMU Scientists Harness「Mind Reading」Technology to Decode Complex Thoughts》的文章，文中提到了人类思想与大脑激活模式相对应的研究成果，并通过整合机器学习与功能性磁共振成像技术（fMRI），解码人类的复杂思想，将机器学习的算法应用再次推向一个新水平。

卡内基梅隆大学科学家现在可以借助大脑激活模式辨识复杂的人类思想，比如，「证人在审判中大叫了起来」。

由卡内基梅隆大学 Marcel Just 领导的最新研究致力于整合机器学习算法与大脑成像技术从而实现「读心术」，该研究发现表明人类复杂思想的基本构建单元是大脑的不同子系统而不是单词；研究成果发表在了《人类大脑地图（Human Brain Mapping）》上，并获得了 IARPA（智力高级研究项目活动／ Intelligence Advanced Research Projects Activity）的资助，它提供的新证据表明概念表征的神经维度广泛存在于人类和语言之中。

D.O. Hebb 大学心理学教授 Just 说，「人类大脑的一大进步是有能力把单一概念融入到复杂思想当中，从而不仅仅可以思考香蕉，还可以联想到夜晚和好友一起吃香蕉。最终我们发现了一种方法，通过 fMRI（功能性磁共振成像）信号读取复杂的人类思想。人类思想与大脑激活模式相对应的发现向我们表明了思想的构建单元是什么。」

 Just 及其团队之前的工作表明，关于相似物体的思想（比如香蕉或锤子）会唤醒激活模式，这些模式涉及到我们用来处理这些物体的神经系统。例如，你与香蕉的交互方式将会影响你握香蕉、吃香蕉的方式，以及香蕉看起来的样子。

通过反向工程大脑发送的信号，他们正在打造一款人工智能，通过大脑扫描图读取人类的复杂思想。通过使用从 fMRI 机器中搜集的数据，并将其馈送至机器学习算法，进而最终锁定大脑用来产生复杂思想的基元。

这项新研究证明大脑对 240 个复杂事件、语句（比如审判期间的大喊大叫）的编码使用了包含 42 个语义组件（或者神经可信性语义特征，比如人物、设置、大小、社会交互和物理行动）的字母表（alphabet）。每一类型的信息在不同的大脑系统中获得处理，这也是大脑为物体处理信息的方式。通过测量每一个大脑系统的激活值，该程序即可知道什么类型的思想正在被考虑。

对于七个成人参与者，研究人员使用了一个计算模型来获取大脑活动是怎样鉴定 239 个符合神经可信性语义特征（neurally plausible semantic features）的句子的。然后这个程序就能够对第 240 个句子（被遗漏的句子）的特征进行解码。他们按顺序逐个遗漏 240 个句子中的每一个，这就叫做交叉验证（cross-validation）。

尽管之前从未被激活，这个模型仍能够以 87% 的精度预测被遗漏句子的特征。它也可以进行反向工作，在只知道其语义特征的情况下预测前所未见的句子的激活模式。

「我们的方法克服了 fMRI 的一个缺陷，从而重叠混合了大脑活动信号，这些活动在时间上紧密相连，就像在一个句子中读两个相连的单词，」Just 说道。「这一进步第一次使得解码包含几个不同概念的思想成为了可能。这就是大多数人类思想的构成方法。」

他补充道，「下一步可能就是对一个人思考的一般型话题进行解码，比如地质学或滑板运动。我们正在绘制大脑中的所有知识类型。」

卡内基梅隆大学的 Jing Wang 和 Vladimir L. Cherkassky 也参与了此项研究。

发现大脑如何对复杂思想进行解码是 CMU 关于人脑研究的众多突破之一。CMU 培养了一批最早的认知学者，开发出了在 Jeopardy 夺冠的沃森，并且在神经计算领域建立了一个开创性的博士项目，同时也是人工智能与认知心理学的发源地。在其生物学，计算机科学，心理学，统计学和工程学的优势基础上，CMU 推出了了 BrainHub 项目，这是一个聚焦于大脑结构和活动如何引起复杂行为的新领域。

原文地址：https://www.cmu.edu/dietrich/news/news-stories/2017/june/brain-decoding-complex-thoughts.html

长按图片，识别二维码，关注“天津大学神经工程与康复实验室”！