成像专题 | 量化感知的深度光学快照光谱成像 (IEEE CVPR)

量化感知的深度光学快照光谱成像

Quantization-aware Deep Optics for Snapshot Hyperspectral Imaging

本期导读

光谱成像可以获取场景中精细波段下的图像信息，这些信息在环境监测、医疗诊断和材料分析等多个领域具有重要应用价值。传统光谱成像方法通常需要进行时序扫描，不适用于动态场景。经典的快照光谱成像方法无需时序扫描，通过单次曝光即可获取场景光谱图像，但通常使用复杂的几何光学元件。近年来，基于深度光学的快照光谱成像方法得到了迅速发展，采用衍射光学元件（DOE）进行光学编码耦合，利用人工智能技术进行数字解码重构，并从系统思维出发联合优化编码耦合模块和解码重构模块，是目前最有发展前景的快照光谱成像方法之一。

深度光学方法在建模编码耦合方案时，未考虑DOE制造阶段的量化操作。举例来说，设计的DOE高度通常采用32位浮点数表示，而成熟的套刻制造工艺通常要求DOE仅含有16个高度台阶或更少的量化级别。这将导致联合优化得到的高度与最终实物制造的高度存在因量化导致的差异，使得实物系统和联合优化得到的解码重构算法匹配度降低，影响成像质量。鉴于此，来自北京理工大学、中国科学技术大学和北京师范大学的研究人员提出了一种量化感知的深度光学快照光谱成像方法。此研究工作通过在深度光学模型中引入量化感知训练方法，并提出适用于量化感知的自适应机制，使得DOE在编解码联合优化阶段就满足实物制造的量化要求，优化设计的DOE无需进行额外量化操作即可直接用于实物制造，提升了深度光学快照光谱成像的成像质量。相关研究成果发表于计算机视觉顶级会议 IEEE CVPR 2022。

技术路线

图1展示了量化感知深度光学快照光谱成像方法的框架。此方法通过在DOE的高度图表示中显式建模量化操作，以实现DOE高度图在训练完成后满足制造量化的要求；进一步，为了解决量化操作不可微的问题，使用alpha-blending量化感知训练方法将高度图的输出分为全精度和全量化两条路径，并通过alpha参数控制两条路径的权重，而在编解码联合优化过程中，仅在全精度路径上反向回传梯度。

图1 量化感知深度光学快照光谱成像方法框架

与常规低精度网络的量化感知训练方法不同，量化感知深度光学快照光谱成像方法的目的并不在于压缩网络模型，而是在于满足实物制造的物理约束，故常规量化感知方法中均匀量化级别并不一定是最优的量化方案。为了使DOE的量化高度图尽可能地接近全精度高度图，该研究提出了一种DOE量化高度的自适应机制，图2a展示了此机制的流程。
    该自适应机制为每一个量化台阶对应的物理高度设置一个可训练的权重，此权重受量化误差损失函数的监督，使得量化感知模型可在编解码联合优化过程中自动寻找到最合适的量化台阶高度。同时，如图2b所示，随着训练步数增加，alpha参数亦逐渐从0变化到1，DOE高度图也从训练开始的全精度样式转变为最终满足制造需求的量化样式。在此期间，解码重构模块部分亦将匹配自适应量化的DOE所产生的编码耦合模块。

图2 量化感知深度光学快照光谱成像方法的自适应机制示意

  图3a展示了研究团队制造的DOE器件和研制的快照光谱成像原型相机，图3b展示了部分重构图像与光谱曲线。可以看到，该研究提出的自适应机制量化感知模型 (QDO+A) 在光谱重建准确度上优于未考虑量化操作的常规深度光学模型 (DO) 。

图3 实物原型相机及实拍数据光谱重建结果展示

简单总结，深度光学方法的建模中未考虑实际制造DOE阶段的量化要求，其在实物制造阶段引入量化操作将会限制光谱成像质量，此研究构建量化感知的深度光学模型，在设计阶段便充分考虑了实物量化要求，进而消除了因量化操作导致的成像质量退化问题，提高了深度光学方法的实用性。此外，除DOE量化操作，DOE制造以及相机研制过程中会存在多种因素影响最终的成像质量，相信该研究工作可以为构建物理友好的计算成像模型提供启发性思路。

论文信息：

• Li, L., Wang, L., Song, W., Zhang, L., Xiong, Z., & Huang, H., Quantization-Aware Deep Optics for Diffractive Snapshot Hyperspectral Imaging. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (2022).

技术详见：

https://github.com/wang-lizhi/QuantizationAwareDeepOptics

*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。

回顾与预告

上期回顾：成像专题 | 物理驱动的深度学习助力时域压缩相干成像 (Optica)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
“计算成像”名校博士博后机会：名门传承，机会难得，点击查阅

INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END