基于计算机视觉的汽车测速文献综述
一、背景介绍
随着科技和工业化的进步，交通工具的行驶速度越来越快，不断地在拉近人与人之间的距离。人们出行的需求也随之上涨，其中汽车是人们较常使用的交通工具。根据公安部在2022年1月11日发布的2021年全国机动车和驾驶人数据我们可以了解到：2021年全国汽车保有量为3.02亿辆；汽车驾驶人达4.44亿人。汽车无论是在保有量还是在驾驶人的数量上都有着相当大的规模，随之而来的便是日益增多的汽车交通事故。根据《中国交通年鉴》的各地区道路交通事故情况统计数据，在2020年，全国共发生24万余起的交通事故，造成了6万余人死亡、25万余人受伤和13亿多的经济损失。对于汽车的行驶速度进行合理的限制被认为是提高道路安全性的最有效手段之一，准确估计道路车辆速度的需要变得越来越重要。而全球安装的摄像头数量在不断增长、覆盖的监控范围也越来越大，给予了使用视频数据进行汽车测速良好的基础。
本文将基于以下的综述文章，介绍基于计算机视觉的汽车测速方法：Fernández Llorca D, Hernández Martínez A, García Daza I. Vision‐based vehicle speed estimation: A survey[J]. IET Intelligent Transport Systems, 2021, 15(8): 987-1005.
二、输入数据
基于计算机视觉的汽车速度检测依赖于摄像头的视频数据，而在视频中的每一个车辆将以一系列连续的图片记录。每一辆车的可用图像数不仅仅与汽车的速度有关，还取决于摄像机相对于道路的位置、摄像机的焦距和图像录制的帧率。就摄像头的分类而言，大致可以分为两类：交通摄像头(Traffic cameras)和测速摄像头(Speed cameras)。
交通摄像头也称为交通监控摄像头(traffic surveillance cameras)。它们用于手动或自动监测交通流量、拥堵和事故。而且在大多数情况下，这些是固定摄像机，其拍摄的内容往往是整体的交通情况，安装的位置也位于远离交通流的地方。
测速摄像头也被称为交通执法摄像头(traffic enforcement camera)，对于基于雷达和激光的测速系统，也会相应的配备一个独立的摄像头用于记录汽车的图像。这样的摄像头相比交通摄像头，位置会更加靠近交通流。
其他的输入数据包括车辆属性，如车辆类型、关键点、车牌大小等。而且路段宽窄长短的先验知识也是一项重要的输入数据，因为这对于计算道路和摄像机之间的外在关系和车辆速度至关重要。
三、车辆的检测
想要通过计算机视觉的方法，对于视频中的车辆进行测速，首先要在视频中寻找到汽车。对于计算机视觉领域而言，这是一个目标检测的问题。对于车辆测速，有以下的几种方法找到车辆在图像中的位置。
基于静态背景的车辆检测方法。
由于设置的交通摄像机的位置是固定的，所以通常拍出来的图像除去静态背景之外，只有车辆在移动。有相当一部分研究是采用最简单的逐帧方法，然后使用阈值法进行图像分割。而更多数是通过减去图像中的背景，然后进行连通性分析得到车辆的。对于减去图像中背景的方法有：基于灰度或者颜色的方法、高斯混合模型、自适应背景建模。这两种方法有时候也会与特征检测器相结合（如角点特征、边缘特征、KLT特征等）
基于特征的车辆检测方法
也有一些使用基于在图像在车辆区域附近的特征，从而识别图像中车辆的方法。使用的特征包括依赖边缘的特征、灰度特征、LBP特征、SIFT/SURF特征、KLT特征等。
基于车牌的车辆检测方法
车辆的车型、颜色可能会有所区别，但是几乎在所有国家上路行驶的汽车都需要安装车牌。这样汽车识别就可以通过识别车辆上的车牌，从而识别车辆在图像中的位置。为了能够识别出车牌，需要拍摄的视频像素足够多、拍摄的物体较为清晰。
基于机器学习的车辆检测方法
随着数据的可用性的提高和机器学习的进步，基于机器学习的车辆检测方法在不断取得进展。在基于深度学习的目标检测领域中主要分两阶段检测和单阶段检测。两阶段的目标检测方法有：R-CNN、Fast R-CNN、Faster R-CNN等，单阶段的目标检测方法有：YOLO(You Only Look Once)、YOLOv2、YOLOv3、YOLOv4、YOLOv5等。
四、车辆的追踪
汽车测速问题不仅仅只是一个单个图像的目标检测问题，而是对于一个汽车在多帧图像中的移动轨迹问题。在检测到汽车的特征之后，可以使用滤波和噪声平滑算法对于汽车进行追踪。
主要的车辆追踪方法分为四大类。首先，对于基于特征的车辆检测方法，可以通过对于灰度特征、边缘特征、LBP特征、KLT特征、SIFT、SURF等特征的轨迹得到车辆运动的轨迹。其次，对于一些可以检测到汽车的轮廓的方法，可以使用汽车的中心点的移动轨迹作为汽车移动的轨迹。但是由于汽车轮廓检测的准确性有限，以及车辆受遮挡、阴影和视角变化等因素的影响，基于中心的追踪方法的可靠程度有限。然后是使用最广泛的方法，可以使用汽车的检测框或者汽车的轮廓进行追踪。对于比较广泛使用的基于深度学习的目标检测方法，往往会产生一个目标检测框，这样就可以对于目标检测的框进行追踪。最后，也可以通过追踪汽车的车牌，计算出车牌的移动速度从而得到汽车的移动速度。
五、距离的估计
根据摄像头的个数，摄像头距离的估计有基于双目摄像头的方法和基于单目摄像头的方法。
对于双目方法，由于使用了立体视觉，对于每个检测到的车辆，相对距离可以使用像素的视差值直接获得。立体视觉系统会受到若干因素的影响，例如车辆相对于立体摄像机对的距离、摄像机之间的基线和视差误差等。由于双目方法对于摄像头的校准有较高的要求，以及现在道路上安装的摄像头多数都是单目摄像头，所以应用双目方法的距离估计的应用有限。
对于单目方法，主要依赖于一些先验的知识，比如道路的宽度、车牌的大小等，通过一些物体的尺寸将视频中图像中的像素点对应到现实中的距离。从总体上看，主要分为三类估计距离的方法。
对于单目摄像头的第一种距离估计方法，通过汽车行驶进规定好的区间内进测速。可以通过汽车在固定检测区间行驶的时间以及固定区间的真实距离得到汽车的估计速度。这些方法不需要对于摄像头进行校准，但是需要得到图像上检测区间的真实距离。
对于单目摄像头可以采用的第二种办法是，基于单应性计算的方法，将平面（道路）从3D投影空间到2D投影空间（相机图像平面）。这样图像可以转换为鸟瞰图，从而像素位移可以直接转换为真实世界距离。
对于单目摄像头可以采用的第三种办法是，可以基于根据物体的真实尺寸（包括车牌和车辆）的先验知识来估计距离。基于车牌尺寸的方法对低米像素比和像素定位误差非常敏感。基于车辆尺寸的方法需要应用细粒度的车型分类系统来识别特定车型并使用其特定尺寸。
六、速度的估计
在对距离进行估计之后，计算速度就可以通过汽车走过的路程除以通过这段路程的时间获得。由于摄像头在录制视频时会有录制的帧率，可以通过录制的帧率得到每一张图像间的时间间隔。但是更加精准和稳健的做法是，通过使用能与NTP(Network Time Protocol)服务器同步时间的系统时钟记录时间。多数的速度估计使用连续帧估计出来的一系列速度再进行后续的处理，后续可能会对于一系列的速度取平均值、或使用不同的方法对速度进行滤波(如移动平均、多项式滤波、卡尔曼滤波器等)。但是对于一些非连续的图像，可以使用固定距离的测量方法、可以使用固定帧数和固定时间间隔的测速方法、也可以使用从第一次检测到的位置到最后一次检测到的位置的方法。最后，也可以利用两个不同摄像机或无人机摄像机的不同视角进行车辆检测的技术。
七、数据集与评价指标
虽然车速检测是一个广泛研究的课题，但与其他研究领域相比，可用的数据集数量较为有限。下表展示了几个较为常用的数据集，以及数据集相应的一些信息和参数。
近年来，用于交通和车速检测的最广泛的数据集是AI CITY CHALLENGE的数据集，这是由英伟达提出的年度挑战比赛中的一部分。举例来说，在2018年的AI CITY CHALLENGE数据集中就包括三组视频。所有这些视频都是在正常交通中录制的，而且这些视频的米像素比较高。这代表着汽车在图像中移动一个像素点的位置，会在真实世界中移动较大的距离，这使得对于真实速度的以及精度的提升会较为困难。而且这一次比赛的数据没有提供汽车行驶速度的真实值。
另一个可用的数据集是BrnoCompSpeed数据集，这个数据集有着18条1920*1080分辨率、50fps帧率的视频数据。而且这个数据集带有两万多条车辆的真实速度标记，其中的真实速度是由激光测速系统测量得到的。相比上一个数据集他的米像素比更低，更利于进行汽车的测速。
可用的米像素比最低的数据集是由帕拉纳费德拉尔科技大学生成的UTFPR数据集。其中视频的分辨率是1920×1080像素，帧率为30fps。包含在不同天气条件下从一台覆盖三条车道的摄像机拍摄的长达5小时的视频，以及通过感应线圈探测器获得的真实速度，感应线圈探测器经过了适当校准并获得了巴西国家计量机构的批准。
还有由中国北京航空航天大学制作的交通路口的QMUL数据集，其中包含1小时交叉口的真实交通图像，帧率为25fps，分辨率为360×288，总长度约为1小时。这一数据集的米像素比也较高，并且没有车辆速度的真实标记。
当有了汽车的真实速度以及估计出来的速度之后，便可以对于模型估计的准确程度进行评价。在汽车测速的领域中最常用的评价准则是MAE(Mean Absolute Error)。除了MAE以外，也会与标准差等其他的统计指标一起对于速度估计的算法进行综合全面的评价。除去最常用的MAE评价准则以外，在一些论文和文献中也有使用MSE(Mean Square Error)和RMSE(Root Mean Square Error)。使用MSE/RMSE来估计使用算法估计的值与实际真值之间的“距离”。在一些论文中使用该方法用于测量相对距离误差，从而最后测量速度误差。
八、面临的挑战
面临的挑战主要有以下几个方面：一个是天气条件和亮度对于视频的影响。现在对于良好视频亮度以及正常天气下的车辆测速效果较好。而在有挑战性的天气条件下，（多雾、雨雪等）对于限速以及监管的要求会更高。而且在夜间场景能见度较差、模糊和车辆前灯炫光的条件下图像识别会变得更加困难。一个是基准对比问题。为了衡量不同的车速估计方法，需要有一个合适的公共数据集包括不同的测试场景，包含不同的天气、不同的照明情况、不同的车型、不同的米像素比和不同的车速范围等。而且还需要数据集中对于不同的车辆有着足够的标签，包括车型、在图像中的位置或者特征等等。而且对于数据集中的速度也需要使用其他的精确的测量速度的方式进行测量得到真实的速度。除去MAE和MSE/RMSE，应该使用什么样的评价准则去评价估计速度的准确度也是一个面临的问题。
参考文献
[1] Moazzam M G, Haque M R, Uddin M S. Image-based vehicle speed estimation[J]. Journal of Computer and Communications, 2019, 7(6): 1-5.
[2] Cheng G, Guo Y, Cheng X, et al. Real-time detection of vehicle speed based on video image[C]//2020 12th International Conference on Measuring Technology and Mechatronics Automation (ICMTMA). IEEE, 2020: 313-317.
[3] Tourani A, Shahbahrami A, Akoushideh A, et al. Motion-based vehicle speed measurement for intelligent transportation systems[J]. International Journal of Image, Graphics and Signal Processing, 2019, 10(4): 42.
[4] Khan M, Nawaz M, Nida-Ur-Rehman Q, et al. Multiple moving vehicle speed estimation using Blob analysis[C]//World conference on information systems and technologies. Springer, Cham, 2019: 303-314.
[5] Gauttam H K, Mohapatra R K. Speed prediction of fast approaching vehicle using moving camera[C]//International Conference on Computer Vision and Image Processing. Springer, Singapore, 2019: 423-431.
[6] Dahl M, Javadi S. Analytical modeling for a video-based vehicle speed measurement framework[J]. Sensors, 2019, 20(1): 160.
[7] Gunawan A A S, Tanjung D A, Gunawan F E. Detection of vehicle position and speed using camera calibration and image projection methods[J]. Procedia Computer Science, 2019, 157: 255-265.
[8] Jiang J, Mi C, Wu M, et al. Study on a real-time vehicle speed measuring method at highway toll station[C]//2019 International Conference on Sensing and Instrumentation in IoT Era (ISSI). IEEE, 2019: 1-5.
[9] Bell D, Xiao W, James P. Accurate vehicle speed estimation from monocular camera footage[C]//XXIV ISPRS Congress. Newcastle University, 2020.
[10] Huang T. Traffic speed estimation from surveillance video data[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 2018: 161-165.
[11] Mini T V, Vijayakumar V. Speed estimation and detection of moving vehicles based on probabilistic principal component analysis and new digital image processing approach[C]//EAI international conference on big data innovation for sustainable cognitive computing. Springer, Cham, 2020: 221-230.
[12] Sonth A, Settibhaktini H, Jahagirdar A. Vehicle speed determination and license plate localization from monocular video streams[C]//Proceedings of 3rd International Conference on Computer Vision and Image Processing. Springer, Singapore, 2020: 267-277.
[13] Fernández Llorca D, Hernández Martínez A, García Daza I. Vision‐based vehicle speed estimation: A survey[J]. IET Intelligent Transport Systems, 2021, 15(8): 987-1005
作者介绍：
郑博文，北京大学光华管理学院的商业分析方向在读硕士生，本科毕业于南开大学数学与应用数学专业。