AI时代的高科技读心术：算法解码脑中图像

撰文  马修·赫特森 （Matthew Hutson）

翻译  李杨

审校  张梦茜

编辑  魏潇

让我们想象一下：只要在心里浮现出某个人物或风景，就能从一堆数码照片中把它搜索出来。或者不用动笔就能画出一个新的厨房设计。又或者给心爱的人发送一张想象中的落日照片。一台能读懂你的心思的电脑会有很多用处，更不用说对于那些瘫痪的、无法正常与人交流的人。如今，科学家们已经创造出了来解释和准确地再现一个人所看到的或想象的图像的算法。这项技术可能还需要几十年的时间才能有实际应用，但科学家们离建立起能够帮助我们投射内心的系统更近了一步。

“我很惊讶它能运转得这么好，”来自印第安纳州西拉斐特普渡大学（Purdue University）的计算机科学家刘中明（音）说。他帮助开发了一种算法，可以在一定程度上再现观众在看电影时看到的画面。“这真的很酷。”

使用算法来解码心智图像并不稀奇（mental images, 即我们从记忆中提取曾储存的视觉信息时，脑海中重现的影像）。自 2011 年以来，研究人员通过把当下的大脑活动与之前观看图像时检测到的大脑活动相匹配的方法，再现了电影片段、照片，甚至梦境图像。但这些方法都有其局限性：有些只处理很简单的图像类别，比如脸型，而有些则必须从预先编程的图像诸如“人”或“鸟”之类的类别中进行选择。

最新的这种算法则可以在线机动生成可辨认的图像，甚至可以重现那些没亲眼见过、想象出来的画面。

为了弄清楚一个人在看什么，研究人员首先进行了功能性磁共振成像（fMRI）测试，它能通过测量大脑血液流动间接监控神经活动。他们找来三个被试，让他们每人观看了超过 1000 张的图片，每张图片看多次，通过这种方式将大脑视觉处理区域的活动绘制成了分辨率为 2 毫米的“地图”，作为参考。他们的目标是，找到大脑看见某图像时产生的应答活动，比如一只猎豹，并最终让计算机绘制出一幅几乎相同的图像。

但是，研究小组并不是给实验对象一幅接一幅地展示画，直到电脑正确地模拟出来，而是建立了代替大脑的系统，深度神经网络（deep neural network ，DNN），它由几层简单的处理元素组成。该研究的通讯作者、日本京都大学的神经学家神谷之康（Yukiyasu Kamitani）说：“我们认为，深度神经网络完全可以代表大脑的分层处理系统。”

“通过使用 DNN，我们可以从大脑视觉系统的不同层次提取信息，”从简单的明暗对比到更有意义的内容，比如不同的人脸。

使用“解码器”，研究人员创造了大脑对图像的反应，但这些都储存在深度神经网络 DNN 中。如此一来，他们便不再需要实际的 fMRI 数据，仅仅需要 DNN 的翻译。

在猜测别人在看什么时，翻译的内容将作为模板，而 fMRI 数据则不再重要。系统随后将尝试绘制一幅图，这幅图会激发 DNN 以匹配该模板的方式进行响应。它通过不断地试错，直到描绘出理想的图像，无论是猎豹、鸭子，还是彩色玻璃窗。这个系统从一些随机的东西开始，类似于电视屏幕上的雪花，接着在 200 次的尝试过程中慢慢地改进它的图像。为了更接近理想图像，系统计算了 DNN 活动和模板化 DNN 活动之间的差异。这些计算引导系统不断调整像素的位置，直到接近理想图像。

为了使最终的产品更加准确，研究人员加入了一个“深度发生器网络”（deep generator network, DGN）。这个算法已经经过了预先训练，可以根据它的输入生成逼真的图像。DGN 让算法重现的画看起来更自然。研究人员在上月末发表的一篇预印本论文中称，一旦添加了这一功能，人们就能第一时间分辨出两张照片中的哪一幅是想要被重现的，成功率高达 99%。

接下来，科学家们试图解读出人们想象中的图片。这一次，他们扫描了三名受试者的大脑，要求他们回忆之前展示过的图像，包括鱼、飞机和简单的彩色图形。这个方法不能完好地展示出图像，但是对于形状，生成器创建出一个可识别的图像的概率是 83%。

这是“有趣而细致的研究”，哥伦比亚大学扎克曼研究所的计算神经学家尼克拉斯克里奇斯科特（Nikolaus Kriegeskorte）说。他想知道计算机生成图像的不准确性在多大程度上是由于大脑活动测量手段的限制，以及它们在多大程度上反映了我们的大脑对图像解读时的错误。他说：“更高分辨率的核磁共振成像和其他脑成像技术可能会进一步完善结果。”通过对测量和算法进行持续的改进，我们也许有一天能通过大脑中的心像进行交流。

原文链接：

https://www.sciencemag.org/news/2018/01/mind-reading-algorithm-can-decode-pictures-your-head

对AI产业感兴趣但找不到入门途径？科研圈读者福利来啦：

在科研圈微信公众号后台回复“寒假特训”

阅读更多

▽ 故事

▽ 论文推荐

▽ 论文导读

内容合作请联系

[e-mail]