智能驾驶大数据前沿研究进展与典型应用
导读：随着嵌入式系统、导航系统、传感器技术、网络及通信技术等方面的共同发展，以及人们对于未来交通工具的盼望，智能驾驶技术逐渐成为越来越多学术界与工业界研究人员的关注热点。
01 介绍
智能驾驶泛指对于交通工具（尤其是汽车）的智能化改造，应用自动驾驶（autonomous driving）以及车联网（Internet of Vehicles，IoV）等技术，使得传统上完全人为控制的机动车辆具备智能处理的能力，包括但不限于智能数据采集、智能分析、智能决策等，而这一系列的智能化技术的实现离不开对于车辆本身、外界环境、交互控制等多维度海量数据的高效处理与分析。
智能驾驶大数据之所以能够被传统汽车行业以及新兴互联网企业、先进制造业等多方机构同时寄予厚望，包括但不限于以下原因：
1. 安全性
一方面，不同人对于车辆的操控能力、对于驾驶规则的认知能力不尽相同；另一方面，在不同的情况下，人的反应时间与决策准确性会受到诸多因素不同程度的影响。这使得人们对于机动车的驾驶行为具有高度的主观决定性，使得道路交通安全情况难以完全保证。
而对于智能驾驶技术而言，不论是低阶辅助驾驶（例如定速巡航、自动化跟车、车道保持、自动泊车），还是高阶自动驾驶（几乎完全交由行车系统进行控制），都能够在不同程度上替代人们主观性的判断与操控，同时缓解了诸如心情、病症等因素对驾驶者的影响，提高了行车可靠性。
同时，由于数据处理系统超低时延的性能，智能驾驶技术能够以低于常人反应时间的速度进行决策，在突发情况（例如即将碰撞）时能够即时采取最佳策略，避免事故的发生，或减弱事故带来的危害，进一步提高了驾驶的安全性。
2. 高效性
车联网技术中一项典型应用即精确导航。对于传统驾驶者而言，规划出行路线通常依赖于自身的位置记忆、对于交通流量判断的经验以及通用的定位导航技术（例如GPS或北斗），而车联网与边缘计算平台的结合带来了区域性精确导航的能力，包括但不限于：
高精度地图。不同于传统基于卫星的遥感地图，通过边缘节点，能够在LAN进行多维度的数据获取，例如基于摄录系统的视频采集，基于雷达、声呐系统的空间距离感知等，获得小范围内的精确空间信息以及实景画面，为驾驶系统提供准确的地理位置信息支撑。
实时更新地图。基于边缘平台的计算能力，能够对于一定范围内的高精度地图进行实时更新，记录道路维修、车道调整、通行规则调整等一系列高时效性数据，并即时分发至可能经过此区域的行车系统中，为它提供更加准确的决策，而极高的更新频率带来的时效性对于传统地图信息系统而言难以实现。
动态信息监控：通过基站、车载计算、路边单元等边缘节点，能够将交通流量、突发事故等动态信息进行监控、采集，并经过聚合、处理后上报至车联网，使得交通状况由传统的现场发现、人工播报逐渐转变为实时获取、连网传播，大大提高了车辆通行效率。
3. 便捷性
不论是作为交通系统使用者的自动驾驶车辆，还是作为服务者的车联网系统，由于智能处理系统接管了原有人为的工作，因此能够具备7天×24h不间断运行的能力，有效弥补了公共交通工具有限运行时间以及驾驶者面临的疲劳驾驶等问题。
这样一来，需要出行的用户能够在任意时间使用高度智能化、自动化的交通工具，降低了驾驶者成本，提高了交通便捷性。
02 问题与挑战
而自动驾驶技术是否能够最终落地，对于数据处理系统而言，主要依赖于以下三方面：
1. 计算性能
研究称，人类的反应时间通常为100～150ms，尽可能保证安全性的自动驾驶技术的响应时间则应该低于100ms［68］，而自动驾驶系统所面临的持续输入的数据量又是十分庞大的—据英伟达（NVIDIA）公司研究称，车身上的高分辨率照相机每秒将产生2GB像素，输入到用于决策推断的深度神经网络中，随之产生250万亿个操作，用于物体及行人追踪、交通信号检测与识别、车道检测等智能场景的实现。
同时，对于如此规模的计算量，数据处理系统还应严格控制硬件发热问题，避免温度过高导致的性能损耗、续航缩减、能源浪费，甚至车身自燃等严重问题的发生。因此，如何在极短时间内高能效地实现大规模运算，将是对行车数据处理系统的一大考验。
2. 存储性能
研究表明，遍布车身的传感器的数据传输带宽能够达到3～40Gbit/s［69］，英伟达公司的自动驾驶技术测试也显示车辆学习数据收集系统在几小时内就能够充满TB级的固态存储硬盘（SSD）。
自动驾驶技术在短时间内产生如此规模的数据量，使得车载存储系统的性能需要不断提升。一方面，由于网络通信条件的限制，车辆无法将传感器收集的实时原生数据直接上传至计算平台；另一方面，降低传感器数量或数据采集质量将直接影响数据价值，造成识别错误、决策准确率下降等问题。
3. 网络通信性能
对于自动驾驶、车联网等智能驾驶技术，网络通信几乎为各项功能提供着底层支撑：
车与车之间的互连：通过车辆点对点网络，车辆之间能够不借助于驾驶者实现智能化通信，进行事故警报、碰撞预测、协同化巡航等应用。
车与计算平台之间的互连：由于车载处理系统受限于有限计算资源，人们无法将所有的复杂任务直接交由它本身进行计算，必将基于更高阶的计算平台进行特定的任务卸载来完成。通过V2I（Vehicle-to-Infrastructure）技术，智能车辆能够连接路边单元、基站等计算服务设施，进而实现数据交互、计算卸载等过程。
车与用户设备之间的互连：不论是驾驶者还是乘坐者，都需要在不同程度上对机动车的自身状况有所了解，以评估行驶安全性等问题。
但是，在不考虑数据处理时间开销的情况下，传统网络通信技术由于无线信道状况、通信带宽限制、网络流量拥塞等问题，使得数据传输开销通常远高于100ms的限制标准，这将导致行车数据处理系统的严重性能瓶颈。而现有基于云-端的远距离网络传输技术难以达到响应时间限制，需要尝试局域范围内的短距离网络通信来实现。
例如，通过边缘平台，将复杂的计算密集型任务卸载至路边单元等边缘节点的方案，具有巨大的潜力，但也面临着一些问题：
智能汽车内部的计算系统与路侧的边缘计算节点需要通信与协同；
汽车不断移动的同时，需要顺序地接入不同的边缘节点，相邻的节点之间需要基于服务迁移技术进行“接力”；
不同节点的负载情况、计算能力差异较大，延迟敏感的车联网任务如何高效处理；
如此动态的场景下，合理计费与安全保障同样重要。
因此，这也对上层数据处理系统提出了挑战：
1）具备环境感知与场景感知的数据采集
对于固定地理位置的基站、路边单元等边缘节点，以及具有高移动性、不稳定性的车辆，均无法照搬传统数据采集方法，而应探索具备感知周围环境能力以及实时场景信息能力的新型数据获取技术，例如包含高精度地理位置的空间信息获取、实景画面采集。基于此类高维度的数据，智能驾驶系统才能够实现性能进一步的提升。
2）数据聚合与处理
在输入源数量大、异构性强、性能不统一的复杂情况下，对多元化数据进行有效聚合、处理便是下一步。利用这些数据，车联网应当能够高效地对它进行分析、挖掘，以支撑局域内的高精度地图、定位、导航等功能。
3）智能化决策
新型交通相较于传统而言，最大的变化在于机器的智能化发展。驾驶者能够通过目视采集环境信息，通过大脑进行分析并决定下一步的操作，而想要实现智能驾驶，行车控制系统同样需要实现这一过程。为了让机器具备“分析”“推断”等能力，机器学习、深度学习技术快速发展。
目前，相关研究人员利用强化学习、深度神经网络等技术，已经在行车智能控制方面取得了初步成果，达到了一级、二级甚至三级的自动驾驶能力，并预计在未来十年内实现四级以及五级的高度自动驾驶水平。
03 前沿研究
面对上述问题，云边端协同处理模式显示出了巨大潜力。研究人员尝试提出了一种云平台、边缘平台以及车载平台三者协同的处理方案：
车在平台：由于直接嵌入至车体内，因此能够执行高度延迟敏感型任务，例如关键决策推断，以及对任务卸载所用到的数据进行预处理，以降低数据体积，进而减小带宽占用和传输时间开销。
边缘平台：适用于计算密集型、中度延迟敏感型任务，例如精确定位、局部区域高精度导航、多数据源的信息聚合与存储等，能够为资源极度受限的车载平台提供一定能力的计算、存储等服务。同时，以路边单元为代表的边缘节点由于靠近车辆但（通常）不具备移动性的特点，能够为固定区域内的来往车辆提供实时且丰富的信息，弥补单一车载平台视野受限的问题。
云平台：由于处于网络中心，具备全局性的服务范围，且拥有近乎无限的计算、存储等资源，能够承担复杂且大规模的计算任务（例如用于实时推断的DNN模型的训练）、非实时的广域信息聚合及处理任务（例如预设路线规划），处理并存储富有价值的大规模交通数据以备未来的统计、分析及预测任务等。
接下来，将介绍一些相关技术的具体研究：
1. 资源管理与任务卸载
由于边缘节点能够为一定范围内的多个用户（车辆）同时提供服务，因此资源调配以及用户任务竞争问题是影响性能的主要因素。参考文献［70］将车辆任务卸载过程中的竞争冲突问题转化为多用户博弈问题，证明该问题的纳什均衡的存在性，并实现了一个分布式的计算卸载算法。
而参考文献［71］则更进一步，针对任务卸载过程中的通信速率、可靠性、延迟三方面进行优化分析，提出了一个支持服务质量感知的无线网络资源管理框架，将资源分配问题拆分为车辆集群的分块、集群之间的资源块池分配、集群内的资源分配3个子问题，并实现了一个基于图理论的优化方法：
首先将车辆分区转化为集群划分问题，使得车辆之间的协同控制能够避免隐藏终端问题，同时避免由半双工导致的通信限制；
对群组的资源块池分配问题转化为基于加权资源冲突图的最大最小公平性问题，解决（由高效的集群间通信资源复用导致的）频谱利用率增强与限制集群间竞争冲突的权衡。
针对车辆高移动性导致的边缘节点频繁切换的问题，参考文献［72］认为车辆与节点之间的连接在维持较短时间后便丢失，将造成处理时间及能耗开销增长，提出了任务接替算法，按照计算出的接替时间，将处理任务从原有节点卸载至下一个可行的目标节点，继续任务的运行。
同时，该研究者没有局限于单一完整的任务卸载，实现了一系列任务的部分卸载策略。
对于整个卸载过程而言，车端的性能与边缘服务节点端的性能均需要认真对待。DDORV算法［73］能够根据当前系统状况（例如信道质量、流量负载）对车端与节点端的两个相互耦合且包含大量状态信息、控制变量的随机优化问题同时进行考虑。
具体而言，该算法基于Lyapunov算法将双边随机优化问题解耦为两个独立的按帧优化问题：对于车辆，卸载策略通过比较本地处理成本与任务卸载成本进行选择，CPU调整频率通过提出的目标函数计算得出；对于边缘节点端，首先提出一个轻量的资源供给算法，之后基于对无线资源与能耗的共同优化的迭代式算法，提出持续松弛方法以及Lagrange双解耦算法。
同时，该研究者选用电视机空白频段（TV white space）进行车辆与边缘节点之间的无线数据传输，弥补了传统蜂窝、Wi-Fi等技术的弊端，提高了通信效率。
同时，对于一定区域内的多个用户，通常具有多个节点提供选择。JSCO算法［74］将多节点、多用户背景下的负载均衡与任务卸载决策问题转化为混合整数非线性规划问题，并能够针对节点选择、计算资源优化、卸载方案决策3个问题以低复杂度进行计算，在保证延迟限制的条件下最大化系统利用率。
2. 典型应用
依托于智能车辆的应用场景十分丰富，例如：
1）交通流量评估
参考文献［75］发现传统车流量评估方法通常是大范围的、粗粒度的，且依赖于固定位置的交通摄像头，而对于没有摄像系统的路段需要使用卫星定位系统的连接情况来判断，结果准确率不佳。
该研究将车辆看作边缘计算节点，通过车载摄像（例如行车记录仪）的实时视频流进行交通评估：基于YOLO模型的物体检测模块实时地生成目标车体范围框，物体追踪模块提取范围框内车体的SIFT特征描述符，并在连续帧之间进行比对，流量评估模块基于Hough以及虚拟车道进行同向和对向的车道线的提取以及车道的分离，进而分析车辆通行情况。
2）安全分析
基于OpenVDAP框架实现的AutoVAPS［76］框架包括数据层（负责数据采集及管理）、模型层（负责提供用于智能分析图像的模型）、访问层（提供保护隐私的数据共享与访问），能够通过车载摄像视频流实时地进行安全分析。
对于新型大数据应用的发展而言，一方面，需要面向云边协同的层次化架构，充分利用云、边、端三者的优势，解决传统单一云模式下面临的问题；另一方面，需要针对特定应用，不断优化云边协同下数据处理系统的实现方案，使得该体系能够更加适应于不同特定的场景，充分发挥特定场景的优势。
关于作者：韩锐，北京理工大学特别研究员，博士生导师。2010年毕业于清华大学并获优秀硕士毕业生，2014年博士毕业于英国帝国理工学院，2014年3月至2018年6月在中国科学院计算所工作。专注于研究面向典型负载（机器学习、深度学习、互联网服务）的云计算系统优化，在 TPDS、TC、TKDE、TSC等领域顶级（重要）期刊和INFOCOM、ICDCS、ICPP、RTSS等会议上发表超过40篇论文，Google学术引用1000 余次。
刘驰，北京理工大学计算机学院副院长，教授，博士生导师。智能信息技术北京市重点实验室主任，国家优秀青年科学基金获得者，国家重点研发计划首席科学家，中国电子学会会士，英国工程技术学会会士，英国计算机学会会士。分别于清华大学和英国帝国理工学院获得学士和博士学位，后在德国电信研究总院任博士后研究员，在美国IBM T.J.Watson研究中心和IBM中国研究院任研究主管。主要研究方向是智能物联网技术。
参考文献
［68］ S C LIN, et al. The architectural implications of autonomous driving: Constraints and acceleration［C］．in Proceedings of the Twenty-Third International Conference on Architectural Support for Programming Languages and Operating Systems, 2018: 751-766.
［69］ S HEINRICH. Flash memory in the emerging age of autonomy［J/OL］2017. https://www.flashmemorysummit.com/English/Collaterals/Proceedings/2017/20170808_FT12_Heinrich.pdf.
［70］ Y LIU, S WANG, J HUANG, et al. A computation offloading algorithm based on game theory for vehicular edge networks［C］．2018 IEEE International Conference on Communications (ICC), 2018: 1-6.
［71］ P KESHAVAMURTHY, E PATEROMICHELAKIS, D DAHLHAUS, et al. Edge cloud-enabled radio resource management for co-operative automated driving［J］．IEEE Journal on Selected Areas in Communications, 2020, 38(7): 1515-1530.
［72］ Z WANG, Z ZHONG, D ZHAO, et al. Vehicle-based cloudlet relaying for mobile computation offloading［J］．IEEE Transactions on Vehicular Technology, 2018, 67(11): 11181-11191.
［73］ J DU, F R YU, X CHU, et al. Computation offloading and resource allocation in vehicular networks based on dual-side cost minimization［J］．IEEE Transactions on Vehicular Technology, 2018, 68(2): 1079-1092.
［74］ Y DAI, D XU, S MAHARJAN, et al. Joint load balancing and offloading in vehicular edge computing and networks［J］．IEEE Internet of Things Journal, 2018, 6(3): 4377-4387.
［75］ G KAR, S JAIN, M GRUTESER, et al. Real-time traffic estimation at vehicular edge nodes［C］．Proceedings of the Second ACM/IEEE Symposium on Edge Computing, 2017: 1-13.
［76］ L LIU, X ZHANG, Q ZHANG, et al. AutoVAPS: An IoT-enabled public safety service on vehicles［C］．Proceedings of the Fourth Workshop on International Science of Smart City Operations and Platforms Engineering, 2019: 41-47.
划重点👇
更多精彩👇
在公众号对话框输入以下关键词查看更多优质内容！
读书 | 书单 | 干货 | 讲明白 | 神操作 | 手把手大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化AI | 人工智能 | 机器学习 | 深度学习 | NLP5G | 中台 | 用户画像 | 数学 | 算法 | 数字孪生
据统计，99%的大咖都关注了这个公众号👇