深度学习应用在图像匹配的效果如何？
图像匹配作为计算机视觉的核心任务，是后续高级图像处理的关键，如目标识别、图像拼接、三维重建、视觉定位、场景深度计算等。
近年来，国内外学者在该领域的研究中提出许多优秀的方法，如基于深度学习的特征点匹配算法、实时匹配算法、3维点云匹配算法、共面线点不变量匹配算法，以及基于深度学习的图像区域匹配等。
我们将各种图像匹配方法分为局部不变特征点匹配、直线匹配、区域匹配三类给予总结，深入分析了每种方法的优缺点及适用场景，而且介绍了其在医学图像和遥感图像中的应用，并利用DTU数据集和Graf数据集对多个图像匹配方法进行分析比较，同时提供近几年算法的论文和代码下载地址。
作者: 贾迪,朱宁丹,杨宁华,等
来源: 中国图象图形学报,2019,24(5):677-699
DOI: 10.11834/jig.180501
听听同行专家的点评....
该文对基于点、线、面几何特征的图像匹配方法，尤其是基于深度学习的匹配方法进行了较详尽的综述，为从事该领域研究的人员提供了参考。
对图像匹配算法的分析、分类和总结反映了该研究领域的前沿，提供的算法代码网站具有参考价值。
看看综合对比分析结果....
实验环境：2核主频为3.4 GHz的CPU，显卡为NVIDIA GTX TITAN X GPU。
测试数据集：DTU数据集，牛津大学数据集Graf。
表1 特征匹配方法中的影响因素比较
| 方法 | 光照变化不变性 | 尺度不变性 | 旋转不变性 | 视角变化鲁棒性 | 计算时间/s |
| SIFT | Y | Y | Y | 高 | 2.41 |
| SURF | Y | Y | Y | 高 | 1.1 |
| ASIFT | Y | Y | Y | 很高 | 9.6 |
| ORB | Y | Y | 低 | 0.11 | |
| FAST | Y | 中 | 0.06 | ||
| TILDE | Y | Y | 高 | 1.45 | |
| 文献[1] | Y | 很高 | 48.2 | ||
| Quad-networks | Y | Y | Y | 高 | 2.41 |
| LIFT | Y | Y | Y | 高 | 6.03 |
| MSLD+S & G | Y | Y | 中 | 0.42 | |
| LBD+S & G | Y | Y | Y | 中 | 0.20 |
| LP | Y | Y | Y | 高 | 22 |
| 文献[2] | Y | Y | 高 | 6.36 | |
| FAST-Match | Y | Y | Y | 高 | 0.23 |
| CFAST-Match | Y | Y | Y | 高 | 0.61 |
| MSER | Y | Y | Y | 很高 | 1.71 |
| TBMR | Y | Y | Y | 很高 | 1.69 |
| 注：Y表示算法在某个性能上具有一定的优势。 |
表2 误匹配点剔除方法
| 方法 | 描述 | 优点 |
| RANSAC | 采用迭代方式从包含离群数据的数据集中估算出数学模型 | 算法简单, 能鲁棒地估计模型参数 |
| BF | 利用每个匹配定义的局部仿射变换计算两幅图像之间的仿射运动场 | 具备更高查全率和查准率 |
| VFC | 利用向量场的光滑先验，从带有外点的样本中寻找向量场的鲁棒估计 | 具有鲁棒性与高匹配概率，尤其是对误匹配率较高的图像效果更显著 |
| GMS | 基于统计，通过计数邻域的匹配点个数来判断一个匹配正确与否 | 可以快速区分出正确的匹配和错误的匹配，提高了匹配的稳定性 |
表3 不同基于学习匹配方法比较
| 方法 | 样本组织形式 | 应用形式 | 运行时间(GPU) | |||||
| 成对 | 三元组 | 全局 | 度量 | L2 | us | |||
| MatchNet | Y | Y | 573 | |||||
| DeepCompare | Y | Y | 44 | |||||
| DeepDesc | Y | Y | 579 | |||||
| L2-Net | Y | Y | 48 | |||||
| PN-Net | Y | Y | 10 | |||||
| 注：Y表示算法在某个性能上具有一定的优势。 |
表4 图像匹配方法对应论文及代码地址
聊聊图像匹配研究的未来发展....
1. 多种图像匹配算法的融合。每种匹配算法都有各自的特点和适用范围，未来的研究工作中综合这些算法的特点，克服每种算法的应用局限性，最大程度地提升图像匹配算法的应用范围。
2. 对3维特征匹配算法的研究。对3维点云数据的研究逐渐从低层次几何特征提取(点特征直方图PFH、快速点特征直方图FPFH、视点特征直方图VFH等)向高层次语义理解过渡(点云识别、语义分割)。
针对无序点云数据的深度学习方法研究进展较为缓慢，主要原因有三点：
(1)点云具有无序性，受采集设备以及坐标系影响，同一个物体使用不同的设备或者位置扫描，3维点的排列顺序千差万别，这样的数据很难直接通过端到端的模型处理。
(2)点云具有稀疏性，在机器人和自动驾驶的场景中，激光雷达的采样点覆盖相对于场景的尺度来讲，具有很强的稀疏性。
(3)点云信息量有限，点云的数据结构就是一些3维空间的点坐标构成的点集，本质是对3维世界几何形状的低分辨率重采样，因此只能提供片面的几何信息。
3) 对卷积神经网络模型的深入研究。对CNN其内部结构深入了解，加强对多层卷积神经网络的设计，从而更快、更准地完成像对匹配。
贾迪，1982年生，男，辽宁工程技术大学副教授，博士生导师，主要研究方向为立体匹配与3维重建，视觉空间定位。
E-mail: lntu_jiadi@163.com
朱宁丹，通信作者，女，辽宁工程技术大学硕士生在读，主要研究方向为图像匹配与应用。E-mail: lntu_znd@163.com
杨宁华，男，辽宁工程技术大学硕士生在读，主要研究方向为宽基线像对匹配。E-mail: lgdyangninghua@163.com
吴思，女，辽宁工程技术大学硕士生在读，主要研究方向为图像匹配与超分辨率重建。E-mail: lntu_ws@163.com
李玉秀，女，辽宁工程技术大学硕士生在读，主要研究方向为像对线特征匹配与应用。E-mail: lntu_lyx@163.com
赵明远，男，辽宁工程技术大学硕士生在读，主要研究方向为像对立体稠密匹配。E-mail: zju_zmy @163.com
推荐阅读
编辑：韩小荷
审核/指导：梧桐君
前沿丨观点丨咨讯丨独家
扫描下方二维码 关注学报公众号
中国图象图形学报 | 订阅号
你认真学习的样子，真好看