©作者 | 陈萍、小舟来源 | 机器之心
引入密集强化学习，用 AI 验证 AI。
自动驾驶汽车 (AV) 技术的快速发展，使得我们正处于交通革命的风口浪尖，其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力，因此引起了工业界、政府机构、专业组织和学术机构的共同关注。过去 20 年里，自动驾驶汽车的发展取得了长足的进步，尤其是随着深度学习的出现更是如此。到 2015 年，开始有公司宣布他们将在 2020 之前量产 AV。不过到目前为止，并且没有 level 4 级别的 AV 可以在市场上买到。导致这一现象的原因有很多，但最重要的是，自动驾驶汽车的安全性能仍大大低于人类驾驶员。对于美国的普通驾驶员来说，在自然驾驶环境 (NDE) 中发生碰撞的概率约为 1.9 × 10^−6 per mile。相比之下，根据加利福尼亚 2021 年的脱离报告（Disengagement Reports）显示，最先进的自动驾驶汽车的脱离率约为 2.0 × 10^−5 / 英里。注：脱离率是评定自动驾驶可靠性的重要指标，它描述的是系统运行每 1000 英里需要驾驶员接管的次数。系统的脱离率越低，意味着可靠性越佳。当脱离率等于 0 时，也就从某种程度上说明这个自动驾驶系统已经达到无人驾驶级别。尽管脱离率会因为存在偏见而受到批评，但它已被广泛用于评价自动驾驶汽车安全性能。提高自动驾驶汽车安全性能存在的一个关键瓶颈是安全验证效率低下。目前流行的是通过软件模拟、封闭测试轨道和道路测试相结合的方式来测试自动驾驶汽车的无损检测。这样一来，AV 开发人员必须支付大量的经济和时间成本来评估，从而阻碍了 AV 部署的进展。在 NDE 环境中，进行 AV 安全性能验证非常复杂。例如，驾驶环境在时空上是复杂的，因此定义此类环境所需的变量是高维的。随着变量维数呈指数增长，计算复杂度也呈指数增长。在这种情况下，即使给定大量数据，深度学习模型也很难学习。本文中，来自密歇根大学安娜堡分校、清华大学等机构的研究者，他们提出密集深度强化学习 (D2RL，dense deep-reinforcement-learning) 方法来解决这一挑战。
https://www.nature.com/articles/s41586-023-05732-2项目主页：
https://github.com/michigan-traffic-lab/Dense-Deep-Reinforcement-Learning论文一作封硕，目前是清华大学自动化系终身助理教授（Tenure-Track Assistant Professor），此外，他还是密歇根大学交通研究所 (UMTRI) 的助理研究科学家。他于 2014 年和 2019 年在清华大学自动化系获得学士和博士学位，师从张毅教授。2017 年至 2019 年，他在密歇根大学土木与环境工程专业做访问博士，师从 Henry X. Liu 教授（本文通讯作者）。
研究介绍
D2RL 方法的基本思想是识别和去除非安全关键（non-safety-critical）数据，并利用安全关键数据训练神经网络。由于只有一小部分数据是安全关键的，因此其余数据的信息将被大量密集化。与 DRL 方法相比，D2RL 方法可以在不损失无偏性（unbiasedness）的情况下显著减少多个数量级的策略梯度估计方差。这种显著的方差减少可以使神经网络学习和完成 DRL 方法难以处理的任务。对于 AV 测试，该研究利用 D2RL 方法，通过神经网络训练周围车辆 (background vehicles，BV) 学习何时执行何种对抗性操作，旨在提高测试效率。D2RL 在基于 AI 的对抗性测试环境下可以将 AV 所需的测试里程减少多个数量级，同时确保了测试的无偏性。D2RL 方法可以应用于复杂的驾驶环境，包括多条高速公路、十字路口和环岛，这是以前基于场景的方法无法实现的。并且，该研究提出的方法可以创建智能测试环境，即使用 AI 来验证 AI。这是一种范式转变，它为其他安全关键系统进行加速测试和训练打开了大门。为了证明基于 AI 的测试方法是有效的，该研究使用大规模实际驾驶数据集对 BV 进行了训练，并进行了模拟实验和物理测试轨道的现场实验，实验结果如下图 1 所示。
为了利用 AI 技术，该研究将 AV 测试问题表述为马尔可夫决策过程 (MDP)，其中 BV 的操作是根据当前状态信息决定的。该研究旨在训练一个由神经网络建模的策略（DRL 智能体），它可以控制 BV 与 AV 交互的操作，以最大限度地提高评估效率并确保无偏性。然而，如上文所述，受维数和计算复杂度的限制，如果直接应用 DRL 方法，很难甚至根本无法学习有效策略。由于大多数状态都是非关键的，无法为安全关键事件提供信息，因此 D2RL 的重点是去除这些非关键状态的数据。对于 AV 测试问题，可以利用许多安全指标来识别具有不同效率和有效性的关键状态。该研究利用的关键性度量指标是当前状态特定时间范围内（例如 1 秒）内 AV 碰撞率的外部近似值。然后该研究编辑了马尔可夫过程，丢弃非关键状态的数据，并将剩余数据用于 DRL 训练的策略梯度估计和 Bootstrap。如下图 2 所示，相比于 DRL，D2RL 的优势是能够最大化训练过程中的奖励。
为了评估 D2RL 方法的准确性、效率、可扩展性和通用性，该研究进行了仿真测试。对于每个测试集，该研究模拟了一段固定距离的交通行驶，然后记录并分析测试结果，如下图 3 所示。
为了进一步研究 D2RL 的可扩展性和泛化性，该研究对 AV-I 模型进行了不同车道数 (2 车道和 3 车道) 和行驶距离 (400 米、2 公里、4 公里和 25 公里) 的实验。本文对 25 公里行程进行了研究 ，因为在美国，平均通勤者单程旅行约为 25 公里。结果如表 1 所示：[1] https://auto.ifeng.com/qichezixun/20200303/1390011.shtml
[2] https://www.nature.com/articles/d41586-023-00798-4
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」