CVPR 2021 | 无监督低光照人脸检测
Project:https://daooshee.github.io/HLA-Face-Website
Code:https://github.com/daooshee/HLA-Face-Code
（点击文末“阅读原文”跳转项目主页）
【导 读】
本期分享发表于CVPR-2021的文章HLA-Face: Joint High-Low Adaptation for Low Light Face Detection。
本项工作由北大王选所刘家瑛课题组完成，探索了如何在不借助低光标注的条件下学习人脸检测器，提出充分利用现有的正常光照标注数据，将人脸探测器从正常光照迁移至低光照。此任务的难点在于，正常光照域与低光照域之间的差异同时包含像素级和语义级，与常见的域差异相比更加复杂。对此，本项工作提出了一个多层视觉联合迁移的框架HLA-Face，设计了双向底层视觉迁移和多任务高层视觉迁移。在底层视觉层面，同时对低光数据进行提亮和对正常光照数据进行降质，使这两个域相互靠近。在高层视觉层面，采用了跨域和域内的自监督学习，不仅缩小了多个域之间的差距，并且进一步加强了视觉表征。实验表明，在不使用低光人脸标注的情况下，所提出的HLA-Face模型相比于现有检测算法获得了更加优异的性能。
本项工作在中国图象图形学报首届研究生论坛中荣获一等奖。
1
无监督低光照人脸检测
光照不足是一种常见的图像质量降质。暗光会掩盖信息，降低图像的视觉质量，并造成人脸检测等机器模型的性能受损，给夜间自动驾驶、城市监控等应用带来挑战。为了推进低光照人脸检测的研究，DARK FACE [1] 构建了一个大型基准数据集，随之诞生了一批低光照人脸检测方法。然而，现有的低光照方法依赖于大量标注，而恶劣条件下数据的标注可能会非常困难，因此现有方法的鲁棒性和扩展性均有限。本项工作探索了如何在不借助低光照人脸标注的条件下，将正常光照人脸检测模型迁移至低光照场景。
2
多层视觉联合迁移
正常光照和低光照之间存在两个层级的差异：一个是底层\像素层级的外观差异，例如不充足的光照、相机噪声和色偏；另一个是正常光照和低光照场景之间的高层\对象层次的语义差异，包括但不限于低光场景所特有的路灯、汽车前照灯和街边广告牌等。
传统的低光照增强方法为视觉质量而设计，无法处理语义层级的差异。传统的域迁移方法针对两域场景相同的情况所设计，而低光下域差异更大更复杂，因此传统的域迁移方法无法很好地将正常光照人脸检测模型迁移至低光照场景。
为了将模型从正常光照迁移至低光照，本项工作提出了一种多层视觉联合迁移的自适应无监督人脸检测框架 (joint High-Low Adaptation low light Face detection, HLA-Face)。
图1. HLA-Face 框架
图1.HLA-Face框架
3
算法框架
为了共同缩小低光照人脸检测的底层和高层的域间隙，本文提出了一种多层视觉联合迁移框架。在低光照L和正常光照H之间设置像素层级的中间态，并根据这些中间态迁移相应的特征表达。更具体地，通过同时进行提亮和压暗来缩小高层域间隙，与L-to-H或H-to-L单向转换相比，本文所提出的双向翻译：L-E(L)和H-D(H)，不仅可以降低迁移难度，还可以为特征迁移提供更多的工具。在像素层级迁移后，通过将多个状态的特征空间推向彼此来减少特征层级的域间隙。此外，通过对比学习进一步增强了特征表达。
图2. 低光照人脸检测训练框架
3.1
双向底层视觉迁移
低光照是一个综合而复杂的降质过程，本项工作将相关因素粗略地分解为三个方面：光照、噪声和色偏。尽管去噪和颜色重建相当困难，反向添加噪声和色偏却相对容易。利用这一点，本文提出将低光照L提亮为E(L)，并通过噪声和色偏将正常光照H降质为D(H)。与L和H相比，E(L)和D(H)更为相似。通过这种方式，让L和H彼此向对方迈出一步，降低迁移难度。此外，通过指定低光照退化的因素构成，像素迁移模型也不会受到L和H域之间语义域间隙的影响。
图3. 双向底层视觉迁移框架
3.2
多任务高层视觉迁移
为了将E(L)、H和D(H)推向彼此，首先通过跨域上下文自监督学习缩小E(L)与H域的间隙，然后通过跨域对比学习缩小H和D(H)域的间隙。此外，通过单域对比学习进一步增强了E(L)的特征表达。整个迁移过程以多任务的方式进行。
图4. 多任务高层视觉迁移框架
4
实验结果
实验主要在正常光照人脸检测数据集 WIDER FACE [2] 和低光照人脸检测数据集 DARK FACE [1] 上进行。模型可以使用 WIDER FACE 数据集的人脸标注，但不可以使用 DARK FACE 数据集的人脸标注。
本项工作与22种最先进方法进行了比较，涵盖了人脸检测、低光照增强、图像翻译（压暗）和无监督特征自适应迁移等类别。我们的方法取得了44.4%的mAP，大幅超越其他方法。此外，与有标签训练，即理想上界相比，我们只有1.6% mAP的距离。
表1. 在 DARK FACE 上的通测比较结果
图5. 不同方法在DARK FACE上的PR曲线
下面展示与基于提亮的方法的主观比较结果，可以看到，HLA-Face正确识别出了更多的人脸。
图6. 检测结果展示
图7. 检测结果展示
5
参考文献
[1] Wenhan Yang, Ye Yuan, Wenqi Ren, et al.: Advancing Image Understanding in Poor Visibility Environments: A Collective Benchmark Study. IEEE TIP 29: 5737-5752 (2020)
[2] Shuo Yang, Ping Luo, Chen Change Loy, Xiaoou Tang: WIDER FACE: A Face Detection Benchmark. CVPR 2016: 5525-5533
点击下方视频号链接，观看本工作报告视频
北大王选所
2021年度优秀成果推介
近期发布
release
— 版权声明 —
本微信公众号刊载的所有内容，由北京大学王选计算机研究所微信自身创作、收集的文字、图片和音视频资料，版权属北京大学王选计算机研究所所有；从公开渠道收集、整理及授权转载的文字、图片及音视频资料，版权属原作者。