北大黄铁军团队 | 专题综述：视觉信息的神经解码
Machine Intelligence Research
神经编码是理解大脑如何处理来自外部环境刺激的重要课题。神经解码旨在解读出隐藏于不同神经信号中的信息。视觉神经解码技术可以帮助推动脑机接口等工程应用的发展，并帮助研究人员实现对大脑更全面的理解。北京大学黄铁军教授团队综述梳理了视觉神经解码的研究进展，介绍了不同采集设备记录的各种神经信号模态，特别是新出现的双光子钙成像信号数据，并总结了不同神经解码方法的优缺点。此外，作者还收集整理了公开研究资源，包括公共神经数据和软件工具包，以方便研究人员进行神经解码研究。全文发表于Machine Intelligence Research(MIR)第五期专题"类脑机器学习"中。
图片来自Springer
全文下载：
Neural Decoding of Visual Information Across Different Neural Recording Modalities and Approaches
Yi-Jun Zhang, Zhao-Fei Yu, Jian. K. Liu, Tie-Jun Huang
https://link.springer.com/article/10.1007/s11633-022-1335-2
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1335-2
在日常生活中，来自外部环境的各类感知信息都会通过不同模态传输至大脑，经过大脑处理后产生一系列应对行为。在这些感知模态当中，视觉毫无疑问是引发大脑与外部环境交互的最主要因素。人类近70%的感知信息来源于视觉，占比远超听觉系统、触觉系统及其他感官系统之和。视觉感知、处理及视觉信息转换均需借助视觉系统完成，进而构建大脑对视觉环境的表征，视觉系统是中枢神经系统的一部分。其由眼睛、视网膜、神经纤维构成，可将视觉信息传递至丘脑、上丘以及部分大脑皮层中。
当前，研究者们能够通过不同的神经信号采集方法、如脉冲信号、脑电信号、功能性磁共振成像信号等，从视觉系统不同部位（如视网膜、外侧膝状体、初级视觉皮层等）的大脑活动中收集神经信号。由于神经采集设备的差异，不同记录方法在广度、规模及准确性上也存在着差异。
神经编码是理解大脑如何处理来自外部环境刺激的重要课题。神经解码旨在解读出隐藏于不同神经信号中的信息。
对于视觉而言，神经编码的主要目标是理解神经元如何对自然视觉信息进行感知和响应。然而，视觉信息的神经解码旨在尽可能多地恢复来自神经响应的原始刺激，如图一所示。这对于发展人工视觉至关重要，相关技术可应用于脑机接口以及虚拟现实设备当中。
图一：两种视觉神经解码过程
近几十年，许多研究关注视觉通路中的各种神经解码机制问题。根据不同的解码目标，可大致将这些机制划分为三大类：1）视觉刺激分类，即特定刺激被划分至最佳匹配图像组；2）视觉刺激识别，即视觉刺激被识别为特定的物体种类；3）视觉刺激重建，引起神经响应的视觉刺激被重建。
考虑到线性方法具有可解释性、计算效率高的特点，大部分早期神经解码方法依赖于线性解码这种范式。虽然线性解码方法能够从神经响应中解码出空间均匀分布的白噪音刺激以及自然场景刺激的大致结构，但难以重构自然图像中的视觉细节信息。
最新的神经解码方法运用非线性方法对复杂视觉刺激进行精确重构。例如，一些研究者将最优贝叶斯方法用于白噪音视觉刺激解码中，但这种方法对于包含大量神经元数量的神经元群解码泛化能力有限。对于自然场景图像的解码，一些研究者使用关键的先验信息进行贝叶斯推断，这种方法的缺点是进行贝叶斯近似的计算成本较高。一些研究者尝试将线性方法和非线性方法结合，通过钙成像数据重构自然刺激的粗略结构。此外，许多研究者已经开始将深度学习方法成功应用于视觉神经解码，这些研究成果为人工视觉领域带来巨大的推动。
视觉神经解码是一个重要研究课题，视觉神经解码技术可以帮助推动脑机接口等工程应用的发展，并帮助研究人员实现对大脑形成更全面的理解。考虑到视觉神经解码相关技术的快速发展，对该领域进行全面和最新研究进展的综述是研究界所亟需的。
本篇综述梳理了视觉神经解码的研究进展，介绍了各种神经信号模态，特别是新出现的钙成像信号数据。本文总结了不同神经解码方法的优缺点。此外，作者还收集整理了公开研究资源，包括公共神经数据和软件工具包，以方便研究人员进行神经解码研究。最后，本文对该研究领域中的挑战和未来方向进行了展望。本文旨在对视觉系统中的神经解码进行综述，以启发神经科学和交叉学科研究人员了解神经解码的最新进展和现阶段面临的问题。这将推动相关研究领域尤其是人工智能和类脑视觉系统的发展。
全文下载：
Neural Decoding of Visual Information Across Different Neural Recording Modalities and Approaches
Yi-Jun Zhang, Zhao-Fei Yu, Jian. K. Liu, Tie-Jun Huang
https://link.springer.com/article/10.1007/s11633-022-1335-2
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1335-2
【本文作者】
余肇飞
刘健
黄铁军
MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接或扫描下方二维码填写收件地址，编辑部将在7个工作日内为您免费寄送纸版全文！
收件信息登记：
https://www.wjx.cn/vm/rfQWEKc.aspx
特别感谢本文第一作者上海交通大学张燚钧博士、本文第二作者北京大学余肇飞研究员对以上内容的审阅和修改！
关于Machine Intelligence Research
Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。
MIR最新招聘信息：
戴琼海院士团队 | 用以图像去遮挡的基于事件增强的多模态融合混合网络ETH Zurich重磅综述 | 人脸-素描合成：一个新的挑战综述：从远程操作到自动机器人辅助显微手术华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
北科大殷绪成团队 | 弱相关知识集成的小样本图像分类
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法联想CTO芮勇团队 | 知识挖掘：跨领域的综述中科院自动化所何晖光团队 | 一种基于RGEC的新型网络最新好文 | 基于因果推断的可解释对抗防御
复旦邱锡鹏团队 | 综述：自然语言处理中的范式转换
精选综述 | 用于白内障分级/分类的机器学习技术
点击"阅读原文"下载全文