成像专题 | 光学-算法联合设计，移变彩色编码衍射光谱成像系统 (Optica)

光学-算法联合设计，移变彩色编码衍射光谱成像系统

Shift-variant color-coded diffractive spectral imaging system 

本期导读

光谱成像从各种波段捕获图像，借此得到场景的光谱和空间信息，具有广泛应用价值。快照式光谱成像缓解了传统扫描方法的局限性，能够更快地在单次拍摄中捕获场景信息。然而，当前的快照式光谱成像系统大多需要庞大的光学元件，大大限制实际应用前景。衍射光学元件（DOE）具有控制透射光相位的微小结构编码能力，可以用来取代传统光谱成像方法中笨重的光学元件。需要注意的是，目前加工所得的DOE的空间光谱调制受到其高度图的限制，增加了重建过程的不适定性。鉴于此，斯坦福大学（Stanford）及哥伦比亚（Industrial University of Santander）的研究人员利用 DOE 的紧凑性和彩色编码光圈（CCA）的丰富光谱编码的优势，提出了一种位移变化的彩色编码衍射（SCCD）快照光谱成像系统。该研究工作延续了该研究小组在端到端光学-算法协同涉及（End-to-end Deep Optics）领域长期深入的探究（本公众号过往报道了一系列Deep Optics领域的工作，请查阅之前的技术解读），近期以论文形式发表于光学领域顶级期刊《Optica》上。

技术路线

技术实现上，如图1所示，该系统仅包含DOE，CCA，及图像传感器。DOE 将入射光进行编码并衍射传播到靠近传感器的CCA，然后在光谱域中进一步编码过滤，并传播到图像传感器上。如图2所示，该SCCD系统被安装在商用相机上。CCA距离传感器约3毫米，DOE 距离传感器约50毫米。

图1. SCCD光谱成像系统示意图

图2. 实验装置图，该研究工作提出的SCCD成像系统安装于商业相机上，并拍摄室内和室外场景。

由于该SCCD系统是移位变量，即每个像素点的点扩散函数不同，如图3所示，该研究提出了对称结构的约束条件，以减少设计CCA的计算复杂度。基于给定的约束条件和硬件限制，图4展示了一个联合优化DOE和CCA的设计参数的架构。

图3. 对称结构的约束条件示意，每种颜色代表一个色彩滤波器。

图4. DOE和CCA的联合优化架构流程示意。

图5展示了优化得到的三种不同类型的DOE和CCA图案，以及每类组合的光谱响应。在后续的实验中，作者选用第二类DOE和CCA，与另一种Spiral DOE方法进行比较，该方法基于入射波长点扩散函数的旋转。仿真结果在视觉和量化指标上均有显著提升。论文正文及补充材料亦详细讨论了DOE和CCA的制备加工流程，均属于可以大规模商业化的工艺。

图5. 优化所得三种不同类型的CCA技术的RGB映射图。

图6 实验拍摄结果：(上) 室内，（下）室外。

在图6所示的实际拍摄结果中，通过改变相机的焦距，观察到了和仿真结果一致的结果，即视觉锐度随着远离注视锥体而下降。值得注意的是，由于后层屏幕受到前层屏幕的衍射，实验拍摄的中远距离的聚焦结果不如仿真结果清晰。在图6的实际拍摄结果中，研究人员对比了室内和室外两种不同光线环境下该系统与螺旋型DOE的光谱重建效果，观察到了所提出的SCCD系统在视觉和量化指标上都更加接近事实。另外，图7展示了该方法可以还原49个从420到660纳米的光谱带，该研究可能论证了目前在可见光域重建光谱带数量最多的系统。

图7 复原所得的SCCD高光谱频带图像。

简单总结，该研究工作实现了一种用于快照光谱成像的更轻量级解决方案。其核心在于结合DOE和CCA各自的优势，借助深度优化模型得到最优的设计参数，并考虑了诸多设计限制和条件。尤其地，位移变化的编码模式相较于传统很多工作假定非位移变化的编码，可以在较低的计算量下还原更真实的光谱信息。相信该研究工作将为下一代轻量级、高保真度，计算光谱成像设备的实现提供新思路。

论文信息：

• H. Arguello, S. Pinilla, Y. Peng, H. Ikoma, J. Bacca, and G. Wetzstein, "Shift-variant color-coded diffractive spectral imaging system" Optica (2021).

技术详见：

https://doi.org/10.1364/OPTICA.439142

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前相关ZJU光谱成像工作及 Stanford Deep optics 的报道，点击以下链接查阅。

回顾与预告

上期回顾：成像专题 | 水波扰动信息助力单目水下三维重建 (IEEE ICCV)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END