成像专题 | 深红色闪光灯+算法=高质量夜景成像（IEEE CVPR）

深红色闪光灯辅助实现高质量夜景成像

Seeing in Extra Darkness Using a Deep-Red Flash

本期导读

夜景成像技术是智能手机一项非常重要的功能，尤其是通过融合多帧拍摄的高噪声照片以获得清晰的图像是手机计算摄影的研究热点之一。然而，这项技术仍然需要有一定的光照环境，在极度黑暗的情况下往往不能得到令人满意的结果。利用白色闪光灯的频闪摄影技术也广泛地应用于手机上，其通常能在非常低的光照水平或具有复杂运动的场景中提供最好的结果。然而，白色闪光灯对人眼来说是刺眼的。特别是在非常黑暗的环境中，强烈的白光会造成令人不愉悦的光污染，并可能破坏人类视觉系统的暗视觉。 基于此，来自KAUST和SNAP Research Lab的研究员基于人眼的工作模式，提出了一种使用深红光（660nm）作为闪光灯的夜景成像技术。人类视觉系统在昏暗的环境中主要使用视杆细胞来感知光源，其对长于 620nm 的波长不敏感，但相机传感器仍然具有足够的响应。利用这种新提出的闪光灯以及配套的重建算法，在不太影响人眼的情况下，相机也能在极度昏暗的环境下得到不错的图像以及视频。这项工作被计算机视觉领域顶级会议 IEEE CVPR 2021 接收，并被选为Oral Presentation。

技术背景

图 1：人眼的构造以及明视觉和暗视觉的光度函数。Mesopic vision是一种基于明视觉和暗视觉中间的一种状态，视锥细胞和视杆细胞同时起作用。

视网膜是人眼中负责感知光的部分，由两种基本类型的光感受器组成—视锥细胞（cones）和视杆细胞（rods）。视锥细胞在强光条件下起作用，对应的是明视觉（photopic vision）。视杆在昏暗的光线条件下变得活跃，对应的是暗视觉（scotopic vision）（图1）。视杆细胞相对视锥细胞对光更加敏感，但是其对于长波长的光（大于 620nm）基本不敏感。

图 2：在不同光照强度下的亮度增益，即红色 LED 的感知亮度相对于白色 LED 的感知亮度，其中相机接收到的LED信号强度相同。

获取了人眼的光度函数以及LED的光谱功率后，便可以量化人眼感知的亮度。经过计算，可以得到在 0.01 cd/m2 左右的昏暗条件下，当相机接收到同样强度的信号时，使用白色闪光灯比使用深红色闪光灯人眼感知的亮度差别在两个数量级以上 （图2）。

技术路线

图 3：通过图片融合技术，得到清晰的RGB图片。

该研究工作训练了一个神经网络（MFF-Net）来融合一对非闪光和闪光的图像。通过一种新颖的调制策略，从闪光图像中提取边缘信息，从非闪光图像中提取颜色信息，并融合它们生成降噪的图像（图3）。更详细的图像重建结果以及与ground truth图像进行对比的结果见图4。
图 4：真实拍摄的图片重建结果。Reference图像是在强光照下拍到的，以作为参考。

图 5：夜景视频重建的流程。

该研究工作把这个夜景成像技术进一步拓展到夜景视频重建，其夜景频闪视频重建的流程见图5，输入变成了一系列闪光和非闪光图像对。1. 首先，计算两个连续闪光帧之间的光流。闪烁帧的信噪比比非闪烁帧高得多，因此这种计算是稳健的；2. 然后，将闪烁的帧前向warp光流的一半以与非闪烁帧配对，并通过将非闪烁帧向前warp光流的另一半以与下一个闪烁帧配对。该流程确保了在极暗环境中的稳定对齐。通过对视频流重复上述过程，所有的非闪烁帧与合成的闪烁帧配对，所有闪烁帧与合成的非闪烁帧配对；3. 进而，将 MFF-Net 应用于每一对；4. 为了减轻伪影，该工作进一步将处理过的帧输入到时间相干性增强的网络中。这样的处理保留了原始帧速率，同时可以稳定地产出高质量重建的视频 （图6）。

图 6：视频重建的结果 （上图为暗环境视频输入，下图为算法恢复结果）。

• 总结

该研究工作提出了一种用于夜景成像的新型深红色频闪摄影技术。当达到相机传感器灵敏度的极限时，使用闪光灯是一种提高环境光线水平并在特别昏暗的条件下捕捉有趣场景的简单方法。实际使用场景中，非闪光和闪光技术适用于不同的弱光环境，例如智能手机配备了夜间模式和白色闪光灯。由于不易分散注意力、社交友好且易于组装，该研究工作提出的深红色闪光灯有潜力在未来应用于智能手机上。
论文信息：Jinhui Xiong, Jian Wang, Wolfgang Heidrich, Shree Nayar. "Seeing in Extra Darkness Using a Deep-Red Flash," IEEE CVPR (2021).

技术详见(包含论文和代码)：

https://vccimaging.org/Publications/Xiong2021Seeing/

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前关于成像的相关报道，点击以下链接查阅。

回顾与预告

上期回顾：成像专题 | 深度学习实现彩色PIE无透镜显微成像（Optics and Lasers in Engineering）欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END