推广位（非商务）

视频：深度学习的单镜片大视场成像原理演示

撰稿 | R

近日，来自斯坦福大学、阿卜杜拉国王科技大学、及普林斯顿大学的研究人员联合提出并实现了基于深度学习的超薄单镜片大视场成像，将单镜片（焦距43 mm，厚度仅3mm）的视场提升到了传统单镜片的5倍，高达53度。

该技术有望为传统精密而笨重的相机镜头设计提供更多选择可能性，将轻量化便携式计算摄影引入全新时代。

该文章已被2019年计算机图形学顶级会议 ACM SIGGRAPH Asia 2019 录用，发表在 ACM Transactions on Graphics 期刊上。

摄影成像经历了数十乃至百年的蓬勃发展，实现单镜片大视场相机设计依旧是困扰光学领域和计算成像的难题。

其主要挑战来自于单个薄透镜难以对轴外像差进行良好的矫正，故而传统单镜片相机仅有10+度左右视场。

为了获得更大的视场，传统相机镜头设计需要几片乃至十几片镜片来矫正轴外像差，这导致当前相机镜头的体积和重量都较大。

鉴于此，计算光学和计算成像成为近期光学、图形学、以及视觉领域的研究热点。

其核心思路不在局限于单一光学学科对几何光学透镜质量的苛刻要求，而是拓展到如何以协同设计的方式发挥光学和计算机双学科各自的优势，以达到在成像质量、光学体积、图像处理复杂度等各个维度的最优化组合。

该论文提出并实现了一种全新的单镜片镜头设计思路，辅以当前性能强大的深度学习网络（Unet + GAN）对采集到图像进行处理，进而获得大视场、高质量、6k分辨率的照片。

通过联合设计单镜片及重建网络，最终将一个43 mm焦距的单镜片（厚度仅3mm）的视场提升到了传统单镜片的5倍，高达53度。

该研究还提出了一种实验室自动获取训练数据的方法，从而避免了在野外拍摄数据集难以实现配对及大工程量的问题。

图1.单透镜实物图（左图）及重建算法处理前（中图）和后（右图）对比

与最先进的复合透镜相比，本光学系统只由一个几乎平坦的单一薄透镜组成，可用于大视场摄影，是专门为深度学习图像重建而定制的。

光学设计的核心思想如下:

首先，为了获得大的FOV，作者限制透镜的相移不随入射角变化。

第二，尽管点扩散函数（PSF）显示出较大的光斑尺寸，但像差能够保持残差对比度，因此非常适合于深度学习图像重建。对于每个观察方向，PSF都有两个分量，一个是保持局部对比度的高强度峰值，另一个是较大的低频分量。尽管低频PSF分量会降低对比度，但它是作用在整个FOV上的。

论文作者设计对目标特性不变的PSF，而不是最小化光斑尺寸，并设计计算以消除非紧凑像差。

类似于现有工作中如何扩展景深或光谱范围，作者是第一个将这一想法应用于扩展视野的人。

使用分别从现有的非球面透镜(ASP)和作者的原型透镜拍摄的图像中学习的图像恢复算法，对重建图像的不同区域进行比较（图3）。

可以看到虽然在某种意义上作者牺牲了轴上锐度，但在离轴区域表现出更好的质量。

图3.使用不同镜头的图像重建效果比较

作者使用了一种生成式对抗网络(GAN)，用于从模糊的原始传感器测量值中检索潜在的清晰图像。

具体来说，论文中的GAN采用了一种U-Net架构的变体，作为生成器G；而采用一种类似于编码器的架构，作为判别器D。

注意，这里使用了预测图像和ground-truth之间的感知损失和Wasserstein生成式对抗损失的组合，来训练生成器模型。

在训练期间，生成器G输入原始图像（来自本系统的薄镜片），被训练以产生潜在图像估计，该潜在图像估计“欺骗”判别器网络以将该估计分类为高质量图像；

而判别器D被训练以更好地区分高质量图像（来自复合透镜）和从生成器G产生的估计。生成器G和判别器D训练过程中相互对抗，最终动态平衡。

在最理想的状态下，生成器G可以生成足以“以假乱真”的图片。

所需的监督训练集,包括使用本光学系统得到的模糊图像，以及相应的清晰真实图像。

如果在室外手动采集该数据集，拍摄时要依次改变光学系统，因而需要复杂的机器人系统来确保位置相同，而且还要采集各种场景。

另外，由于原型镜头中的严重像差，附近放置的摄像机的对准也构成了主要障碍，这使得视差区域中的对准非常具有挑战性。

为了克服这些限制性拍摄问题，作者构建了一个显示拍摄实验室设置，允许作者在不需要大量人工的情况下高效地生成大量训练数据。

这是通过拍摄连续显示在高分辨率液晶显示器上的图像来实现的，如图5所示。由于作者的PSF是空间平移不变的，因而可以只在一个狭窄的视野上训练图像重建网络。

尽管这项工作侧重于计算摄影应用，但作者预见了计算机视觉、机器人技术、传感和人机交互领域的广泛应用。

该技术已经在多种复杂光影情况下进行了室内、室外测试， 在未来有望为传统精密而笨重的相机镜头设计提供更多选择可能性，将轻量化便携式计算摄影引入全新时代。

该项研究题为“ Learned Large Field-of-View Imaging With Thin-Plate Optics ”，其中Yifan Peng（斯坦福大学）, Qilin Sun（阿卜杜拉国王科技大学）, Xiong Dun（阿卜杜拉国王科技大学） 为本文的共同第一作者。

申请转载，请加微信：447882024

新 刊：Light : Advanced Manufacturing

新 刊：eLight