成像专题 | 编码曝光高效恢复运动模糊图像 (Optics and Lasers in Engineering)
本期导读
高空间分辨率和高信息解析度是各类成像系统追求的目标。然而成像过程中常常会遇到在相机曝光时间内目标与成像系统发生相对运动，产生图像运动模糊，大大降低了探测目标的空间分辨率，影响了图像获取质量。近年来，编码曝光（Coded Exposure）技术的提出突破了传统成像模式的限制，为获取运动目标清晰图像提供了新的可能。在编码曝光技术应用过程中也出现了一系列新的困难，其核心问题是如何高效率地设计和选取最优化的二进制相机快门码字序列来控制快门曝光过程，尽可能多地保留运动模糊场景的细节信息。针对这个问题，来自杭州电子科技大学的研究人员提出了一种基于最优码字序列生成的高效编码曝光成像方案，其研究工作发表于光学期刊《Optica and Laser in Engineering》。该研究设计了一种综合的编码曝光最优码字生成准则，综合考虑多种评价因子以保证成像过程中尽可能少地造成图像频率信息损失；同时，提出了一种基于差分进化-模拟退火（DESA）最优码字搜索算法，平衡考虑全局最优解和局部最优解，能够更高效率的确定最优码字序列形式。仿真和实拍结果表明，利用所提出的最优码字编码曝光成像方式得到的复原图像，能够获得更好的主观视觉感受和客观质量评价。
技术思路
图1为不同成像方式的复原结果对比。传统的曝光模式，其成像过程相当于一个时间域上的盒状滤波器与图像的卷积，将其转化到频域中，其幅值曲线在频域上有很多的零点。若采用逆滤波算法复原，频率幅值会作为分母，将图像中的噪声放大，严重影响复原结果，其成像过程和复原图像结果如图1(a)所示。与传统成像模式在曝光期间快门一直处于打开状态不同，编码曝光成像技术通过预先设置的二进制编码序列快速地开关相机快门，有效保护了获取图像的高频信息，使得运动模糊图像的点扩展函数不含频域零点，将图像复原改善成为一个良态的问题，其成像过程和复原图像结果如图1(b)所示。利用所提出的最优码字成像方案，可以得到更优质量的复原结果，其成像过程和复原图像结果如图1(c)所示。
图1 不同成像方式的复原结果对比,（a）传统成像模式；（b）编码曝光+随机码字选取；（c）编码曝光+最优码字选取
对于最优编码曝光码字序列选取准则设计，综合考虑了多个评价因子，提出了一种综合的最优码字设计准则。对于最优编码曝光码字序列搜索策略，设计了一种基于差分进化-模拟退火框架（DESA）的搜索方法。其中，差分进化算法开展实施全局搜索，模拟退火算法实施局部搜索，从而可以在全局最优的基础上实现局部最优，有效减少迭代次数，加快求解搜索速度。搜索算法流程图如图2所示。
图2 差分进化-模拟退火搜索算法实施流程图
以长度为32位的码字序列搜索结果为例，对比利用传统的遗传算法（GA）和利用DESA算法得到的码字序列的频域幅值曲线，如图3所示。DESA搜索框架可以获得更平坦的MTF频谱幅值曲线，曲线最小值更大，震荡变化程度更小，可以帮助运动模糊图像保留更多图像频域信息。
图3 遗传算法和DESA算法码字序列频域幅值曲线比较
开展了仿真复原对比实验和实拍复原对比实验，对比的成像方式包括：传统曝光，编码曝光+随机码字，编码曝光+遗传算法码字，编码曝光+DESA算法码字。仿真复原结果如图4所示，可以看到所提出的成像模型能够获得更优的复原图像效果，在边缘和细节区域的图像清晰度提升更为明显。
图4 仿真复原对比实验。(a) 传统曝光;(b)编码曝光+随机码字;(c)编码曝光+遗传算法码字;(d)编码曝光+DESA算法码字
搭建了实拍成像实验平台，如图5所示。采集了实际运动模糊图像，对比了实拍图像复原效果，如图6所示。所提出的成像方案可以得到更高质量的复原结果，图像主观评价感受更好，更好地抑制了复原算法负效应的产生。后续的研究工作包括尝试更多的搜索算法策略，以期得到更优的编码曝光码字序列。同时，可以考虑引入深度学习框架，研究端到端的运动模糊复原处理方法。
图5 所搭建的实拍成像实验平台
图6 实拍复原对比实验。(a) 传统曝光;(b)编码曝光+随机码字;(c)编码曝光+遗传算法码字;(d)编码曝光+DESA算法码字
论文信息：
Guangmang Cui, Xiaojie Ye, Jufeng Zhao, Liyao Zhu, Ying Chen, Yu Zhang. An effective coded exposure photography framework using optimal fluttering pattern generation [J]. Optics and Lasers in Engineering, 139C (2021).
技术详见：
https://www.sciencedirect.com/science/article/abs/pii/S0143816620319278?via%3Dihub
* 所有图片素材均来源于作者原始论文及网络公开资料，该技术分享不做任何商业用途。
回顾与预告
上期回顾：计算专题 | AI助力互联网视频的人体运动捕捉 (Springer ECCV)欢迎点击查阅
Contact: intelligent.optics.sharing@gmail.com
由于近期微信公众号改版因素，部分用户反映更新通知不及时问题，根据网络资料，可以通过在设置里把我们地公众号加星关注实现对我们的支持，也可以通过点击右下角“点赞”和“在看”标识，以便及时收到更新通知，再次感谢大家的理解和支持！
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台，还望大家多多支持，欢迎来稿，欢迎拍砖。
END