专题综述 | 迈向脑启发计算机视觉的新范式
Machine Intelligence Research
受脑启发的计算机视觉旨在学习生物系统来开发先进的图像处理技术。然而，迄今为止，这方面进展缓慢。其发展的主要障碍来自于当前脑启发计算机视觉的范式没有抓住生物视觉的最基本特征，即生物视觉的目标是处理时空模式的信号。最近，一种新的脑启发计算机视觉范式正在逐步形成，它强调了视觉信号的时空特性，同时采用脑启发计算模型来处理此类数据。本文回顾了这一新范式目前的一些进展，包括直接从视觉场景中获取脉冲信号的脉冲相机的开发，以及受神经系统启发而研发的专门用于处理时空模式的的神经网络模型，包括目标检测、跟踪和识别。文章还讨论了未来这一新范式的发展方向。全文发表于Machine Intelligence Research第五期专题中。
图片来自Springer
全文下载：
Towards a New Paradigm for Brain-inspired Computer Vision
Xiao-Long Zou, Tie-Jun Huang, Si Wu
https://link.springer.com/article/10.1007/s11633-022-1370-z
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1370-z
目前，以深度卷积神经网络(DCNNs)为代表的计算机视觉或机器视觉在许多视觉任务中取得了巨大成功。然而，与生物视觉相比，计算机视觉在性能和能力的多样性方面仍然远远落后。例如，DCNNs主要模拟生物视觉腹侧通路的前馈和层次结构，在图像分类方面取得了极高的精度，但在完成其他任务时，如视频分析和图像理解，仍然差强人意。因此，从生物视觉中学习，即脑启发计算机视觉，仍然是推动计算机视觉发展的一种有效途径。
虽然发展脑启发计算机视觉的重要性被广泛认可，但到目前为止，该领域还没有取得真正意义上的重大突破，可以与AlphaGo对围棋游戏、AlphaFold对蛋白质预测的成就相媲美。
那么，该领域发展的阻碍是什么？目前脑启发计算机视觉发展忽视的一个核心问题是忽视了生物视觉的一个关键性质，即生物视觉的目标是处理时空模式信号，这与DCNNs所擅长的静态图像有根本的不同。简而言之，大脑中每个部位的神经信号的根本特点是同时具有空间和时间结构。
在从外部世界获取视觉信息的初始阶段，视网膜就以连续光流的形式接收信号；这些信号被视网膜神经节细胞转换成脉冲序列，逐层传输到视觉皮层；它们再与来自其它脑区的包含先验或记忆知识的脉冲信号整合；最终，视觉信息以神经元的脉冲反应的形式被提取出来(参见图1)。整个过程非常复杂，许多细节尚不清楚，但是视觉系统以脉冲序列形式来计算时空模式，这一点已经得到实验充分证实。
图一
在认识到机器视觉和生物视觉之间的上述差异后，一种新的抓住这种根本差异的脑启发的计算机视觉范式正在兴起。具体而言，在这种范式下，外部世界的视觉信息从一开始就以脉冲序列的形式表达，随后由生物系统启发的计算模型进行处理。值得注意的是，目前领域内流行的脉冲神经网络(SNNs)并没有真正实现这一目标，它们通常忽略了生物系统有效加工时空模式信息的许多关键特征，例如兴奋性和抑制性的神经元区分、随机的神经元放电、神经元之间的循环和反馈相互作用、突触的短期可塑性等。
本文的结构如下。第二部分首先回顾脉冲相机的最新发展，特别是Vidar，它提供了一种通过脉冲序列表示视觉输入的方法。第三部分将回顾三种受大脑启发的计算模型，它们可以分别基于脉冲序列，实现信号的快速检测、目标的预测跟踪、以及时空模式的识别。最后，第四部分将讨论脑启发计算机视觉的未来发展。
全文下载：
Towards a New Paradigm for Brain-inspired Computer Vision
Xiao-Long Zou, Tie-Jun Huang, Si Wu
https://link.springer.com/article/10.1007/s11633-022-1370-z
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1370-z
【本文作者】
黄铁军
吴思
MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接或扫描下方二维码填写收件地址，编辑部将在7个工作日内为您免费寄送纸版全文！
收件信息登记：
https://www.wjx.cn/vm/rfQWEKc.aspx
特别感谢本文第一作者北京智源人工智能研究院邹晓龙博士、本文通讯作者北京大学吴思教授对以上内容的审阅和修改！
关于Machine Intelligence Research
Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。
MIR最新招聘启事：
专题综述 | 高效的视觉识别: 最新进展及类脑方法综述Top综述集锦 | 进化计算、知识挖掘、自然语言处理、人脸素描合成、机器人辅助手术...
戴琼海院士团队 | 用以图像去遮挡的基于事件增强的多模态融合混合网络ETH Zurich重磅综述 | 人脸-素描合成：一个新的挑战综述：从远程操作到自动机器人辅助显微手术华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
北科大殷绪成团队 | 弱相关知识集成的小样本图像分类
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法联想CTO芮勇团队 | 知识挖掘：跨领域的综述中科院自动化所何晖光团队 | 一种基于RGEC的新型网络最新好文 | 基于因果推断的可解释对抗防御
复旦邱锡鹏团队 | 综述：自然语言处理中的范式转换
精选综述 | 用于白内障分级/分类的机器学习技术
点击"阅读原文"下载全文