耶鲁大学：你在偷瞄哪里，AI全知道

药明康德AI/报道

当你外出旅游时，放眼望去美丽风景，你是否有注意过自己看风景的先后顺序呢？眼球移动作为一种快速的、下意识完成的动作，往往自己都难以觉察，更别提去预测了。然而，通过AI的神经网络学习，科学家们成功地掌握了当人在看风景时，眼球移动的规律。

图片来源：Pixabay

最新的《Nature Communications》刊登了耶鲁大学心理学系的神经科学教授Marvin Chun博士和Thomas O’Connell先生运用功能性核磁共振成像（fMRI）和深度卷积神经网络（deep convolutional neural networks）的AI学习成果，它可以预测人在看自然风景时眼球的移动规律。

关于眼球移动和视觉分析的AI研究为数不少。O’Connell先生和Chun博士的研究，创新性地使用了大脑视觉区的功能性核磁共振成像，来预测眼球的移动规律。同时，该研究还使用了零次学习（zero-shot learning）的方法，结合数据训练得出了空间注意力模型。相较于以往的研究，更进一步地理解了人类大脑对于视觉的处理机制。

核磁共振已经是一项医院里常见的身体检测方法，相较于CT扫描，它可以更好地对人体内的软组织成像，帮助医生诊断病情。而在这项最新的研究中，功能性核磁共振，就是采取类似的技术。在人观看风景的状态下，对大脑视觉区域进行扫描，即时得出脑部区域成像，并进行研究。

▲AI对自然风景和fMRI成像的三种图像重建（图片来源：《Nature Communications》）

作为一种深度学习的概念，零次学习可以让AI具有学习新事物的能力。自然风光景象千变万化，研究人员通过零次学习，赋予了AI更好的处理自然景象和功能性核磁共振图像的能力。

和零次学习相比，传统的深度学习，依赖于对样本和标签的大量学习，且难以将学习的知识拓展到学习的事物之外。而零次学习，可以在让AI仅通过学习对物体的表述的情况下，辨认出没有见过的物体。比方说，AI已经通过学习了辨认绵羊和鸵鸟，如果告知AI：有鸵鸟一样的长脖子和绵羊一样的绒毛的动物是羊驼。那么通过零次学习，AI就可以在从未见过羊驼的情况下，成功的将其辨认出来。

这项研究充分地结合了大脑的视觉处理系统、眼球移动行为和深度神经网络模型。通过分析大脑成像信息和风景的图像信息，研究人员训练的AI可以成功地运用神经网络预测人们在看到风景后，眼球的移动规律。Chun教授表示：“这是数据科学和神经科学的一次完美结合。”

这项研究的成果意义不仅在于单纯预测人眼球的移动，它可以和无人驾驶AI互相结合，进一步完善当前的无人驾驶技术。它还可以更好地帮助我们理解神经科学范畴下，大脑复杂的信息处理方式，从而进一步地促进整个人工智能领域的发展。

参考资料：

[1]O’Connell, et al., (2018). Predicting eye movement patterns from fMRI responses to natural scenes. Nature Communications, https://doi.org/10.1038/s41467-018-07471-9

[2] Mountain splendor? Scientists know where your eyes will look. Retrieved Dec 11, 2018 from https://www.eurekalert.org/pub_releases/2018-12/yu-mss113018.php

本文来自药明康德微信团队，欢迎转发到朋友圈，谢绝转载到其它平台。如有开设白名单需求，请在文章底部留言；如有其它合作需求，请联系[e-mail]。

更多精彩文章：

大家关注的公众号越来越多，找不到“药明康德AI”怎么办？简单四步，将“药明康德AI”设置为星标公众号，问题即可解决。