【唐华锦教授团队-开放获取】基于ORB特征的仿脑SLAM系统

 【IJAC导读】 

本文用ORB取代RatSLAM算法的视觉处理方法，将RGB信息和原始测程信息(raw odometry information)融合，进而构建认知图。为充分验证本文方法的有效性，研究者们还将其与其他视觉处理方法进行了对比。实验结果表明：ORB可显著增强SLAM系统的鲁棒性。

8月，IJAC在线优先发表四川大学唐华锦教授团队关于“仿脑GPS”的研究论文 A Brain-Inspired SLAM System Based on ORB Features。（开放获取）

图片来自SpringerLink

研究背景

在陌生环境中，动物具有辨别方向的本能。受此启发，过去数十年里，不少研究者都试图找到动物获取、留存并长期记忆空间信息的奥秘。1948年，Tolman率先提出，鼠类的大脑中储存着认知图(cognitive map)。1971年，O'Keefe和Dostrovsky发现，在迷宫中的小鼠，其海马体中位置细胞(place cells)的射频会明显增强。

随着神经学的发展，科学家揭示：内嗅皮层(entorhinal cortex, EC)通过空间编码细胞(spatially encoded cells)(通常为网格细胞grid cells)来对外部环境做出反应。需要导航时，这些细胞会被激活，并呈现六边形。此外，实验结果表明，海马体可以从内嗅皮层中接收所有新皮质感官信息(sensory neocortical information)。生物学研究成果又促使机器人领域的专家学者开始构建空间认知图。

图片来自网络

以上发现不仅帮助人们更好地理解大脑“GPS”(全球定位系统)，也激发了仿脑(brain-inspired)即时定位与地图构建(simultaneous localization and mapping, SLAM)及其相关算法的研究热情。尽管大脑GPS机制仍然存在很多我们未知的因素，但可以肯定的是：鼠类SLAM系统不仅包括内部路径整合(internal path integration)，也包括外部物理世界的视觉信号(visual cues)。小鼠可以通过整合外部视觉信息和位置细胞及网格细胞的神经活动来调整行进姿势。

图片来自网络

现有的SLAM算法以概率法为基础，与之不同的RatSLAM算法，即仿脑(brain-inspired)SLAM算法，基于视觉信息及以往经验，可构建认知图。RatSLAM算法利用姿势细胞(pose cells)、本地视觉细胞(local view cells)和认知图(cognitive maps)来模拟小鼠的空间认知机制(spatial cognition mechanism)。姿势细胞(pose cells)构建连续吸引子网络(continuous attractor network, CAN)，用于完成内嗅皮层中网格细胞路径融合(path integration)的工作；本地视觉细胞在功能上相当于小鼠的知觉系统，认知图功能等同于小鼠海马体中的位置细胞。

Milford和Wyeth用一台网络摄像机绘制了一副长达66千米的郊区连续地图。然而，该方法中的视觉算法(vision algorithm)并不适用于拥有多个相 42 35267 42 14988 0 0 1127 0 0:00:31 0:00:13 0:00:18 3641 42 35267 42 14988 0 0 1048 0 0:00:33 0:00:14 0:00:19 2990 42 35267 42 14988 0 0 979 0 0:00:36 0:00:15 0:00:21 2990 42 35267 42 14988 0 0 919 0 0:00:38 0:00:16 0:00:22 2991 42 35267 42 14988 0 0 866 0 0:00:40 0:00:17 0:00:23 2991场景的办公环境。之后，Tian等人利用RGB-D(红色、绿色、蓝色、深度)信息绘制了办公环境的空间认知图。同样地，这个方法也只是从视觉信息中简单提取了亮度扫描截面(intensity scanline profiles)，而后再对这些扫描截面进行对比分析。

过去几年间，各类追踪和描述本地特征(local features)的电脑视觉技术兴起，并广泛应用于视觉SLAM算法中。尺度不变量特征变换(scale-invariant feature transform, SIFT)是一种实用且受欢迎的视觉处理算法，图像在放缩或旋转后，该算法仍能保持稳定性。然而，由于计算比例因子(scale factor)需要花费大量时间，SIFT算法无法满足实时的要求。因此，之后就出现了很多旨在提高SIFT计算速度的方法。其中，FAST(features from accelerated segment test)和BRIEF(binary robust independent elementary features)脱颖而出，却也争议不断。FAST借助机器学习进行角点检测(corner detector)，同时提供在实时系统中找到关键点(key points)的方法，如并行追踪与绘制(PTAM)。

BRIEF是一种二元特征描述符(binary feature descriptor)，基于少量亮度差异测试(intensity difference tests)来表述图像分块(image patch)。BRIEF描述器的一个显著特点就是计算和比较的速度非常快。通过将FAST和BRIEF结合在一起，Rublee等人开发了一种名为ORB(oriented FAST and rotated BRIEF)的视觉处理方法，可有效替代SIEF。ORB使用FAST算法找到图像关键点，借助Harris角测量(Harris corner measure)过滤关键特征，通过oriented BRIEF计算二元描述符。ORB性能优、计算成本低，适宜构建实时半密集地图(semi-dense map)。

唐华锦教授团队用ORB取代RatSLAM算法的视觉处理方法，将RGB信息和原始测程信息(raw odometry information)融合，进而构建认知图。认知图中包含一组机器人行程的空间坐标(spatial coordinates)。为充分验证本文方法的有效性，研究者们还将其与其他视觉处理方法进行了对比。实验结果表明：ORB可显著增强SLAM系统的鲁棒性。

系统概览

图一：来自文章

图一展示了实验所用机器人的硬件结构，由移动基站(mobile base)、RGB-D摄像机(RGB-D camera)和miniPC组成。移动基站采用Pioneer 3-DX机器人---一款小型差分驱动机器人，装配带有内置编码器(built-in encoders)的移动控制器(motion controller)。移动控制器可对机器人进行速度控制(velocity control)，同时提供测程信息(odometry information)。RGB-D摄像机安装在移动基站上，用于获取外部环境的视觉信息。miniPC负责处理视觉信息、测程信息和认知模型。

图二：来自文章

图二展示了认知图构建系统的运行机制。整个系统由视觉处理模块(visual processing module)和认知图模型(cognitive map model)组成。

视觉处理

在SLAM算法中，视觉处理是不可或缺的一部分。绘图时，视觉信息用于生成本地视觉细胞(local view cells)，同时减少冗余图像；全球定位时，机器人会捕捉输入帧(incoming frames)，并将其与记录下来的视觉模板进行对比，从而确定位置。以往的研究，处理方式缺乏准确性，不适用于场景高度相似的办公环境。本文以ORB算法取代以往的简单视觉算法，在实验中表现更优。

ORB将FAST探测器和oriented BRIEF描述器组合在一起。作为经典视觉处理算法，FAST可有效探测关键点。然而，FAST无法得到多尺度特征(multi-scale features)，且没有定位组件(orientation component)。为此，本文采用图像尺度塔(scale pyramid of the image)在每一层生成FAST特征，并且引入强度中心(intensity centroid)用于测量角方向(corner orientation)。就描述器而言，BRIEF是目前为止在计算和匹配上速度最快的一种特征描述器，但在图像进行平面旋转后(in-plane rotation)，其不具备稳定性。为解决这一问题，Rublee采用了转向BRIEF(steered BRIEF)来提高整体性能。ORB中的BRIEF描述器应：在二元检测(binary tests)中保持低相关（lower correlation）和高方差(high variance)。低相关意味着二元检测中每一次新测试都能为描述器带来新信息，从而最大限度增加描述器中记录的信息。高方差可使图像特征更有区分度。Rublee还开发了一种学习方法来保证描述器具备这两种特性。

图三：来自文章

与其他特征描述器相比，如SIFT、SURF和FAST，ORB的优点主要有：1）提供一种快速计算和匹配的算法；2）ORB在面对图像缩放或旋转时可保持不变；3）对于图像噪声、照明和透视变形，ORB几乎不受影响。

因此，ORB可提取图像信息，并将其储存为视觉模板(visual template)。当新图像与之前储存的模板匹配成功，机器人便可判定以前到过这里，否则，本地视觉细胞就会将其存储为新的视觉模板。如图四所示：

 图四：来自文章

实验结果

最后，本文对所提算法的各个方面进行了实验验证。首先对比了ORB算法与SIEF以及接收RGB-D信息的效率，而后展示了由本文方法得出的制图结果，最后评价了在面对噪声数据时，本文所提方法的定位性能。实验数据来源于新加坡某研究机构的办公室。

1

特征提取

图五：来自文章

图五展示了一组相邻RGB-D帧(neighboring RGB-D frames)。第一行是RGB信息，第二行是深度信息(depth information)，两组信息在同一时间获取。而后提取了相邻环境场景的亮度截面(intensity profiles)。上图算式中得出的d值用于区分不同场景。

图六：来自文章

上图第一行和第二行分别展示了通过SIFT(左边一组)和ORB描述器(右边一组)匹配得来的特征。第一行是由摄像机捕捉到的相邻帧图像（neighboring frames），第二行是实验中的环闭合(loop closure event)。显然，SIFT和ORB都能提供足够的对应匹配点(corresponding matched points)。

表1：视觉处理时间对比（来自文章）

2

认知图

图七：认知图绘制过程（来自文章）

3

全球定位

表2：定位结果对比（来自文章）

表3：定位结果(带旋转噪声)（来自文章）

结论

本文将ORB特征提取法(ORB feature extraction approach)应用于RatSLAM系统中，为移动机器人构建认知图。为测试ORB法，文章对比了若干不同的视觉处理方法，由此得出提取特征(extracted features)的性能。此外，本文还对比了不同视觉处理方法在处理RGB和RGB-D信号时的性能。

1）特征提取：ORB不仅可将相邻帧(neighboring frames)与平面相机移动(inplane camera motion)相匹配，还能满足实时视觉处理的要求。

2）全球定位：类脑SLAM系统在ORB特征的帮助下可在地图上定位。此外，认知图结果证实，在室内环境中，ORB可显著增强SLAM系统的鲁棒性。SLAM系统可在很大程度上降低错误率，在面对累加测程错误时(accumulative odometry error)，可反复纠正闭合差(loop closure)，最终构建认知图。

全文信息

A Brain-Inspired SLAM System Based on ORB Features

Sun-Chun Zhou, Rui Yan, Jia-Xin Li, Ying-Ke Chen, Huajin Tang

Abstract:This paper describes a brain-inspired simultaneous localization and mapping (SLAM) system using oriented features from accelerated segment test and rotated binary robust independent elementary (ORB) features of RGB (red, green, blue) sensor for a mobile robot. The core SLAM system, dubbed RatSLAM, can construct a cognitive map using information of raw odometry and visual scenes in the path traveled. Different from existing RatSLAM system which only uses a simple vector to represent features of visual image, in this paper, we employ an efficient and very fast descriptor method, called ORB, to extract features from RGB images. Experiments show that these features are suitable to recognize the sequences of familiar visual scenes. Thus, while loop closure errors are detected, the descriptive features will help to modify the pose estimation by driving loop closure and localization in a map correction algorithm. Efficiency and robustness of our method are also demonstrated by comparing with different visual processing algorithms.

Keywords: Simultaneous localization and mapping (SLAM), RatSLAM, mobile robot, oriented features from accelerated segment test and rotated binary robust independent elementary (ORB) features of RGB (red, green, blue), cognitive map.

Full text:

https://link.springer.com/article/10.1007/s11633-017-1090-y

本文摘要系IJAC小编编译，若内容或翻译有失偏颇，欢迎后台留言指正，点击文末“阅读原文”即可进入全文下载通道。

更多精彩内容，欢迎关注

1) IJAC官方网站：

http://link.springer.com/journal/11633

http://www.ijac.net

2) Linkedin: Int. J. of Automation and Computing

3) 新浪微博: IJAC-国际自动化与计算杂志

4) Twitter: IJAC_Journal

5) Facebook: ijac journal

关于杂志或文章，您有任何意见或建议，欢迎后台留言或私信小编

本文编辑：欧梨成

点击“阅读原文"，进入全文下载