学者观点 | 聚焦目标跟踪

Original 孟琭中国图象图形学报 2021-09-20

在过去的两三年里，人工智能和深度学习的研究出现了爆炸式的增长，越来越多的成果和应用让我们激动不已，在这个充满活力和前景的研究领域，如何才能跟紧国内外最新的研究成果，快速便捷地了解前沿理论和技术方法，同时还能get到优秀学者对学科进展的观点和看法呢？

东北大学信息科学与工程学院智能光电检测与深度学习课题组的孟琭副教授及其研究团队，对近三年的目标跟踪算法进行了研究和梳理，重点关注基于相关滤波方法和深度学习方法两大类型，针对有代表性的跟踪算法的优势与缺陷进行较深层次的解读。

通过对各个算法的阐述、分析、对比，孟老师认为目标跟踪算法的未来发展主要包括以下几个方面：

1. 提升特征提取的有效性

特征提取是目标跟踪算法的关键，跟踪过程中所提取的特征由最初灰度特征逐步过渡到纹理特征、颜色特征、深度卷积特征、多特征融合，其表现力虽然得到了很大的提升，但随着特征提取由简单到复杂，其冗余信息也在增加，因此在关注待跟踪目标的特征提取的代表性和针对性的同时，也要关注特征提取的有效性和实时性。尽可能减少特征提取过程中较高的计算复杂度，保证特征信息的独特代表力。虽然现在的特征非常丰富，但是对目标空间关系表述的特征相对较少，可以考虑将空间关系特征引入到跟踪算法中，提升算法对目标运动的感知力。

2. 提高正样本丰富性

基于深度学习的目标分类的跟踪算法，通过迁移学习的方式极大地减少了基于深度学习的目标跟踪算法对训练样本集的需求，提升了算法的鲁棒性。但是利用在线微调的形式，仍然需要调节训练大量的参数，无法满足算法的实时性要求。实际情况中只能提供视频序列的第1帧正样本，由于正样本缺失问题直接导致分类器性能较差，类内目标辨识度低。可以继续关注利用生成对抗网络丰富正样本，训练更加鲁棒的分类器。同时可以考虑向弱监督或者无监督方向发展。

3. 端对端网络的持续探索

随着基于孪生网络引入到跟踪算法，提高了基于深度学习的跟踪算法的计算效率，在保证算法高精度、高成功率的情况下，提升了算法的速度，因此对于孪生网络的改进是有必要的。可以考虑将新的结构引入孪生网络中，提升孪生神经网络的在线学习的效率。探索新型的孪生神经结构，提升轻量级的孪生网络架构的高效性。

虽然目前的跟踪算法在网络、模型、特征提取等方面的优化已经取得了显著的成效，但是在一些特定的场景中仍然存在不足：　

1. 长时遮挡(或长时完全遮挡)

如果目标被长时间遮挡或目标超出视角时，直接导致错误的模型更新，最终跟踪失败，如果采用降低学习速率方式减少模型的错误更新，可能会导致算法的模型无法适应模型的变化。当目标重现时，如何快捷高效的寻回目标，仍然是一个难题。

▲目标长时遮挡的跟踪情况

2. 相似背景干扰

在目标的背景环境复杂、目标周围有相似颜色或者纹理的干扰物、背景杂斑的情况下，非常容易导致分类器做出错误的决定。

▲相似背景干扰的跟踪情况

3. 快速尺度变化

待跟踪目标在短时间内尺度大幅度改变的时候，尺度池策略只适用目标在局部小范围的尺度变化，无法适应目标的大幅度尺度变换。以目标分块的方式估计目标的尺度变化，缺少全局信息对局部信息的整合机制，将会导致目标定位不准确。

▲快速尺度变化的跟踪情况