成像专题 | 计算锁孔成像：运动物体非视距成像与跟踪（IEEE TCI）

计算锁孔成像：运动物体非视距成像与跟踪

Keyhole Imaging: Non-Line-of-Sight Imaging and Tracking of Moving Objects Along a Single Optical Path

本期导读

非视距（NLOS）成像和跟踪技术是一项近年来兴起的技术，它通过瞬态飞行时间测量的方法来还原房间角落里或扩散器背后的物体形状或位置信息。然而，现有的非视距成像方法多需要成像系统扫描可见表面上的大面积区域，对隐藏物体的间接光路进行采样。在许多应用中，例如，机器人视觉或自动驾驶，可能无法对大面积扫描区域进行光学采集，严重限制了现有的非视距成像技术的实用性。 鉴于此，来自斯坦福大学的研究人员提出了一种通过锁孔进行成像的新方法。该方案可以沿着单一光路，通过锁孔这一通路进行一系列瞬态测量。该研究从未知的角度有效地捕获了隐藏物体运动过程中物体形状的时间分辨投影，通过基于期望最大化（EM）的逆方法来有效地还原物体的形状和位置，并构建实验成功验证。该工作近期发表于计算成像领域权威期刊《IEEE Transactions on Computational Imaging》上。

技术路线

在相机视野之外物体的成像及跟踪技术在自动驾驶、机器人视觉及其他相关领域都有着非常重要的应用价值。通过对间接散射光的时间飞行分析，瞬态的非视距成像技术在大尺度观测隐藏物体领域非常有前景。 该研究提出了一种新的非视距成像方法，瞬态测量沿单一光路记录。如图1所示，通过钥匙孔对房间墙上的单个点进行采样。虽然通过钥匙孔成像可以将一个小摄像机移动到非常接近钥匙孔，但该方法相机与钥匙孔有一定的距离，并只需从共焦的光源-探测器对到房间内的采样点的单一光路。

图1. 锁孔成像原理及结果示意

如图1所示，脉冲激光通过一个钥匙孔照射室内场景在墙壁上形成一个可视的点的像（左），再从一个隐藏的物体散射回来，由光源-探测器对中的单点探测器通过钥匙孔获取随时间变化的光强测量信息。当隐藏在房间里的人移动时，单点探测器会捕获一系列间接散射光（中心）的时间分辨测量值，从而重建了隐藏对象的形状（例如，隐藏人体模型）和时间分辨轨迹（右）。

图2. 仿真结果

该研究首先通过仿真研究锁孔成像问题，锁孔测量通过9个不同的二值物体（HaSyV2 dataset）进行模拟，每个物体的分辨率为64*64，尺寸为50cm*50cm，SPAD的时间分辨率为16ps。对于每个物体，均仿真测量了不同长度的不同轨迹运动。将物体运动转化为固定物体状态下的探测器运动，获取不同轨迹的单点探测器的光强信息，从而利用基于期望最大化（EM）的逆方法进行重建，仿真结果如图2所示。
图3. 实验装置

实验装置如图3所示，光学系统通过紧闭门的锁孔发出一个脉冲激光。在房门的另一侧隐藏对象沿着平行滑轨进行平移移动。当第三次反弹光子返回时，它们被单光子探测器（SPAD）记录并打上时间戳。该实验利用分束器（BS）将激光和SPAD置于共焦状态。一系列实验结果如图4所示。第一行为隐藏物体的图像；第二行为当隐藏物体的轨迹已知时使用梯度下降方法重建隐藏物体的结果；第三行为当隐藏物体轨迹未知时的EM重建结果；第四行为隐藏物体轨迹的EM估计结果。图中每个隐藏物体按照不同的轨迹，点颜色表示随时间变化的位置。

图4.  实验结果 第一行为隐藏物体的图像；第二行为当隐藏物体的轨迹已知时使用梯度下降方法重建隐藏物体的结果；第三行为当隐藏物体轨迹未知时的EM重建结果；第四行为隐藏物体轨迹的EM估计结果。

简单总结，非视域成像已经成为计算成像和光学领域的一个重要研究方向，并被广泛认可。然而，观察角落的周围需要对大可见表面进行成像，该研究展示了使用单一可见光对运动的物体进行成像和跟踪。此外，将飞行时间成像与物体运动相结合可能有助于其他三维成像应用。完全可以想象未来锁孔成像可以解锁新的应用场合，如约束和凌乱环境下的非视域成像。
论文信息：

• C. Metzler, D. Lindell, G. Wetzstein, Keyhole Imaging: Non-Line-of-Sight Imaging and Tracking of Moving Objects Along a Single Optical Path, IEEE Transactions on Computational Imaging, 2021.

技术详见：

https://www.computationalimaging.org/publications/keyhole-imaging/

该研究团队关于非视距成像的相关工作：

• Lindell et al. 2020. Confocal Diffuse Tomography. Nature Communications

• Young et al. 2020. Non-line-of-sight Surface Reconstruction using the Directional Light-cone  Transform. IEEE CVPR
• Lindell et al. 2019. Wave-based Non-line-of-sight Imaging using Fast f-k Migration. ACM SIGGRAPH
• Heide et al. 2019. Non-line-of-sight Imaging with Partial Occluders and Surface Normals. ACM SIGGRAPH

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前关于成像的相关报道，点击以下链接查阅。

回顾与预告

上期回顾：成像专题 | 深红色闪光灯+算法=高质量夜景成像（IEEE CVPR）欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END