成像专题 | 智能光谱探测：深度学习宽光谱编码随机滤光片成像 (Light: Science & Applications)

智能光谱探测：深度学习宽光谱编码随机滤光片成像Deeply Learned Broadband Encoding Stochastic Hyperspectral Imaging

本期导读

高分辨率的光谱成像在天文、遥感、生物、环境等许多领域都发挥着巨大的作用。随着计算成像技术的发展，计算型的光谱成像可以使光谱成像设备变得更加紧凑和廉价，甚至使普通的彩色图像传感器变身为通道数更多的光谱图像传感器。然而，由于光谱图像的巨大数据量、重建算法对噪声的敏感性以及宽光谱编码滤光片难以定量优化设计，计算型光谱相机的图像重建速度及图像质量仍与传统的光谱成像设备有着较大的差距。针对现有挑战，来自浙江大学现代光学仪器国家重点实验室刘旭教授、郝翔研究员团队的研究人员使用深度学习对光谱相机中的宽光谱编码滤光片及解码算法进行了协同设计，实现了基于宽光谱编码随机滤光片的光谱相机（BEST Camera）。其光谱图像重建速度比以往方法快了7000-11,000倍，并且抗噪声性能提升了约10倍，用16个滤光片通道在可见光范围内（400-700nm）实现了5.2nm的等效光谱分辨率。相关成果以 Deeply learned broadband encoding stochastic hyperspectral imaging 于近期发表在Nature旗下光学顶级期刊《Light: Science and Applications》上。

技术背景

光谱图像是一个包含二维空间信息和一维光谱信息的三维数据立方。传统的光谱成像方法使用空间扫描或光谱扫描的方式获取一幅光谱图像，其成像速度较慢。另外，传统的光谱成像设备需要使用色散元件或许多个窄带滤光片将光谱成分分离，导致其体积难以缩小到普通成像探测器的大小。为了提升成像速度、减小设备的体积，近年来学术界基于压缩感知理论发展出了“快照式”的光谱成像方法。然而这些方法仍然存在各自的问题。例如，孔径编码快照式光谱成像（CASSI）将色散元件前的狭缝替换为一块随机编码掩模，以实现数据立方的快照式压缩探测。但该系统仍未摆脱体积较大的色散元件及其光学系统。进一步缩小光谱成像设备体积的有效方法是使用随机滤光片，通过将其集成于探测器像素前以实现光谱成像探测器的集成化。
    需要注意的是，无论使用孔径编码还是随机滤光片，现有的快照式光谱成像系统在获取数据后大都需要使用迭代算法进行光谱图像重建，其重建时间往往远大于数据获取的时间，不适用于对实时性要求较高的应用场景。同时，基于压缩感知的探测方法对噪声更为敏感，这对光谱图像重建算法的抗噪声性能提出了更高的要求。另外，目前用于光谱探测的随机滤光片只能依靠随机生产-挑选的方式获得，难以定量地优化设计。

技术思路

研究人员将人工神经网络应用于滤光片设计及光谱图像的重建中，通过硬件与软件的协同设计实现了基于宽光谱编码随机滤光片的光谱相机（BEST camera），其原理如图1所示。取决于宽光谱编码滤光片放置的位置，分为主动编码和被动编码两种光谱编码模式，分别可探测光谱反射率图像以及光谱辐射度图像。
 图1. BEST Camera原理图（A：成像原理示意，B：DNN光谱重建算法示意）

• 滤光片设计

该研究使用近期提出的PCSED方法实现了滤光片的定量优化设计（详见 成像专题 | 智能光谱探测：宽光谱编码滤光片与解码算法协同设计 (Advanced Theory & Simulations)），生成了16种不同的宽光谱编码滤光片以实现16通道的光谱编码，这一数值仅为以往研究报道的40%-60%。滤光片采用薄膜材料，使用真空蒸镀工艺加工而成。

• 重建算法实现

该研究构建了基于深度神经网络（DNN）的光谱解码器，可根据输入的16幅光谱编码图像计算重建为高光谱图像。依靠DNN强大的并行计算特性，重建过程得以去除耗时的迭代过程。依托于GPU计算平台，重建一幅大小为640×480像素、拥有301个光谱通道的光谱图像仅需0.48秒。相较而言，经典的基于迭代的解码算法则需要3307秒，速度仅为DNN的1/7000。当图像像素数增加一倍时，使用DNN更是快了11,000倍。同时，得益于DNN对大量训练数据的学习能力，研究人员通过使用有噪声的训练实现了比迭代解码算法更好的抗噪声能力。通过重建不同噪声水平下的光谱图像，DNN实现了8.14倍的抗噪能力提升。

实验结果、总结和展望

基于以上技术思路，该研究构建了被动式和主动式两种光谱相机。为了测试光谱相机的光谱分辨能力，研究人员使用被动式光谱相机测试了不同中心波长的激光光谱，并分别针对窄带光谱与多种不同种类的光谱训练了不同的光谱解码DNN，结果如图2所示。针对窄带光谱的DNN可以实现0.55nm的中心波长定位精度（图2 C），适用于对单色光波长精度要求较高的场景；而针对更多种类光谱的DNN依然可以实现0.63nm的中心波长定位精度（图2 D），适用于更加广泛的场景。后者可以分辨波长相距5.2nm的两个单色激光，实现了等效5.2nm的光谱分辨率（图2 E）。

图2. BEST Camera的光谱分辨能力评价

研究人员使用标准色卡和植物标本样品测试了被动式BEST camera的光谱成像效果，如图3所示。可以看出，无论是样品的颜色还是光谱曲线，光谱相机的重建结果均达到了较高的精度。其中，色卡样品的光谱重建均方误差（MSE）达到了0.0008，植物标本样品的MSE为0.0016。

图3. 被动式BEST Camera的光谱成像效果

（A、C：样品的RGB图像；B、D：根据BEST camera输出的光谱图像计算所得的RGB图像；E-J：样品图像对应像素处的光谱曲线）

除了被动式BEST camera，研究人员还测试了主动式BEST camera的光谱成像效果，如图4所示。其光谱图像高度还原了样品RGB图像的颜色，光谱重建均方误差非常小。这一结果与经典的压缩感知解码算法（GPSR）相比，实现了6.1倍的精度提升。主动式的BEST Camera样机如图5所示，其外形尺寸仅为13.6×28.5×7.15mm，与普通的手机摄像头模组尺寸相当，具有不错的应用前景。

图4. 主动BEST Camera的光谱成像效果

（A：样品的RGB图像；B：根据BEST Camera输出的光谱图像计算所得的RGB图像；C-F：样品图像对应像素处的光谱曲线）

图5. 主动式BEST Camera样机实拍

由于使用了对偏振较不敏感的薄膜材料作为光谱编码滤光片，BEST Camera还具有更好的成像光线角度容忍度。通过对不同入射角度下滤光片的响应进行标定，BEST Camera实现了在±10.6度的入射角范围内一致的光谱重建效果，好于使用超表面材料或光子晶体材料的光谱成像设备。

图6. BEST Camera的入射角度敏感性分析

（同一样品在不同入射角下的光谱重建结果，A：标定后；B：标定前）

• 总结与展望

通过深度学习技术与光学硬件的结合，光谱成像设备能够在小型化的同时实现高质量、快速的光谱图像重建。该研究提出的BEST Camera为高精度且紧凑化的光谱成像提供了可靠的技术路线，在推广光谱成像技术的同时亦拓展了人工智能技术在光学领域的应用。

论文信息：

Zhang, W., Song, H., He, X. et al. Deeply learned broadband encoding stochastic hyperspectral imaging. Light Sci Appl 10, 108 (2021).

技术详见：

https://www.nature.com/articles/s41377-021-00545-2

• 来自该研究小组近期相关技术的解读

成像专题 | 智能光谱探测：宽光谱编码滤光片与解码算法协同设计 (Advanced Theory & Simulations) 欢迎点击查阅

* 主要文字由论文作者成员撰写，所有图片素材均来源于作者原始论文及网络公开资料，该技术分享不做任何商业用途。

回顾与预告

上期回顾：显示专题 | "迈克尔逊全息"实现高质量近眼显示（OSA Optica）欢迎点击查阅

下期预告：不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，穿插新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注。

Contact: [e-mail]

由于近期微信公众号改版因素，部分用户反映更新通知不及时问题，根据网络资料，可以通过在设置里把我们地公众号加星关注实现对我们的支持，也可以通过点击右下角“点赞”和“在看”标识，以便及时收到更新通知，再次感谢大家的理解和支持！

INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台，还望大家多多支持，欢迎来稿，欢迎拍砖。

END