长时视觉跟踪器: 综述与实验评估 | 机器智能研究MIR
Machine Intelligence Research
视觉目标跟踪作为计算机视觉中的一项基本任务，近年来受到了广泛的关注。大多数研究都集中在短时视觉跟踪上，它可以处理较短的视频和始终可见的目标。然而，长时视觉跟踪更接近具有更复杂挑战的实际应用。在长时跟踪任务中视频存在更长的持续时间，例如分钟级甚至小时级，并且该任务还需要处理更频繁的目标消失和再现。大连理工大学王栋教授团队全面回顾了长时跟踪，从两个角度总结了长时跟踪算法：框架架构和中间跟踪结果的使用。然后详细描述了现有的基准和相应的评估协议。此外还在六个基准上进行了广泛的实验并分析了跟踪器的性能。最后，文章从多个角度讨论了未来的前景，包括算法设计和基准构建。相关内容可见：
https://github.com/wangdongdut/Long-term-Visual-Tracking.
图片来自Springer
全文下载：
Long-term Visual Tracking: Review and Experimental Comparison
Chang Liu, Xiao-Fan Chen, Chun-Juan Bo, Dong Wang
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1344-1
https://link.springer.com/article/10.1007/s11633-022-1344-1
视觉目标跟踪是计算机视觉中一项基本且重要的任务，有许多实际应用，如智能监控和自动驾驶等。近些年来，人们进行了许多尝试和努力。得益于深度学习的发展，视觉跟踪领域发展迅速并取得了显著的成功。然而，大多数现有的跟踪算法和基准都侧重于短时跟踪，它可以在短时间内(通常为20-30秒)有效地处理始终可见的目标的外观和运动变化。长时跟踪的关注则相对较少。
长时跟踪任务旨在以分钟级甚至小时级的时间持续跟踪视频中的特定目标，这更接近实际应用。与短时跟踪相比，其目标可能面临更复杂和更严峻的挑战。此外，该任务需要处理由于离开视野或完全遮挡而导致的跟踪场景中频繁的目标消失和再现。对目标的重检测能力至关重要。
最近的几项研究表明，短时跟踪器在非常长的序列上表现不佳。由于模板污染、长时间的定位误差累积以及缺乏解决目标消失问题的重新检测能力，短时跟踪器更可能在长时场景中发生漂移和跟踪失败等问题。图1将长时跟踪中一些具有代表性和挑战性的场景进行了可视化。在第一行中，目标从视野底部消失，又在左上方重新出现。在第二行和第三行中，目标被背景完全遮挡，又在被遮挡后从另一个视野区域中再次出现。在第四行，由于观察角度和距离的变化，目标的外观发生了巨大变化。
图1 一些长时跟踪中具有代表性和挑战性场景的视觉化呈现
当前已经有许多研究回顾了短时追踪器。然而，尽管学界已经提出了各种长时跟踪算法，但尚未有对算法、评估基准和详细的性能分析进行全面深入的综述。本文从统一的角度重新审视了现有的长时跟踪算法，并将它们在流行的基准上进行了比较。本文主要贡献总结如下。
由统一的角度从各个方面全面回顾了长时跟踪算法。本文收集了现有的长时跟踪算法，并基于两方面对其进行分类：框架架构和中间跟踪结果的使用。文章还详细描述了具有相应评估协议的长时跟踪基准。
根据流行的基准对主流的长时跟踪器进行综合评估。本文收集了有代表性的长时跟踪器，并根据六个基准对其评估，以进行比较。文章利用实验的速度和精度结果进一步分析了不同框架的优缺点。
长时跟踪的前瞻性讨论。本文从算法设计和基准构建的角度讨论了长时跟踪的潜在方向，这可能为研究人员提供一些指导。
本文其余部分组织如下。第二部分介绍了短时跟踪的发展以及之前关于长时跟踪的相关总结性工作。第三部分详细分析了现有长时跟踪器的类别。第四部分介绍了包含相应评估协议在内的长时跟踪基准，还分析了其与短时跟踪基准的比较。第五部分报告了代表性长时跟踪器在几个基准上的实验结果。最后，第六部分讨论了长时跟踪的进一步发展方向，第七部分是本文总结。
全文下载：
Long-term Visual Tracking: Review and Experimental Comparison
Chang Liu, Xiao-Fan Chen, Chun-Juan Bo, Dong Wang
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1344-1
https://link.springer.com/article/10.1007/s11633-022-1344-1
【本文作者】
陈晓凡
薄纯娟
王栋
MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接或扫描下方二维码填写收件地址，编辑部将尽快为您免费寄送纸版全文！
说明：如因疫情原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737
收件信息登记：
https://www.wjx.cn/vm/rfQWEKc.aspx
特别感谢本文通讯作者、大连理工大学王栋教授对以上内容的审阅和修改！
∨
关于Machine Intelligence Research
Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。
专题综述 | 高效的视觉识别: 最新进展及类脑方法综述北大黄铁军团队 | 专题综述：视觉信息的神经解码
专题综述 | 迈向脑启发计算机视觉的新范式
专题好文 | 新型类脑去噪内源生成模型: 解决复杂噪音下的手写数字识别问题
Top综述集锦 | 进化计算、知识挖掘、自然语言处理、人脸素描合成、机器人辅助手术...
戴琼海院士团队 | 用以图像去遮挡的基于事件增强的多模态融合混合网络ETH Zurich重磅综述 | 人脸-素描合成：一个新的挑战综述：从远程操作到自动机器人辅助显微手术华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
北科大殷绪成团队 | 弱相关知识集成的小样本图像分类
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法联想CTO芮勇团队 | 知识挖掘：跨领域的综述中科院自动化所何晖光团队 | 一种基于RGEC的新型网络最新好文 | 基于因果推断的可解释对抗防御
复旦邱锡鹏团队 | 综述：自然语言处理中的范式转换
精选综述 | 用于白内障分级/分类的机器学习技术
喜报 | MIR被 ESCI 收录！喜报 | MIR 被 EI 与 Scopus 数据库收录
点击"阅读原文"免费下载全文