3D成像方案大比较，TOF胜券在握
来源：内容来自「eettaiwan」，谢谢。
3D成像(3D imaging)技术问世已有几十年之久，但商用产品却在本世纪初才开始上市。起初，电影制作公司使用最新高解析(HD)摄影机制作3D影片；在那之后，3D成像技术发展迅速，横扫消费品市场与机器视觉产业。
第四次工业革命对目前的流程监控与自动化规模提出了前所未有的要求，也为3D视觉带来了新的发展驱动力。传统的2D视觉方法已无法满足复杂物件辨识与尺寸标示应用的精确度与测距要求，日益难以因应越来越多的人机协同工作等复杂互动状况。
本文回顾工业市场的3D成像技术，探讨为何飞行时间法(Time of Flight；ToF)成为当前最具发展前景的方法，最后概述ToF系统专用的CMOS影像感测器最新发展。
取得3D影像主要有四种方法，包括立体视觉法(Stereo Vision)、结构光3D成像(Structured light 3D imaging)、雷射三角法(Laser triangulation)以及ToF。后三种方法属于自动成像系列，需要用到人造光源。
立体视觉法 立体视觉法需要安装两台摄影机来取得物件的不同视角(图1)。采用校正方法调整摄影机与准确深度资讯之间的画素资讯使之一致，这类似于大脑目测距离的原理。因此，在系统中融入认知过程仍离不开大量的运算工作。
立体视觉法采用标准影像感测器，因而降低了成本。感测器越复杂(例如高性能感测器或全域快门装置)，系统成本越高。其应用的距离范围受到机械局限的限制：过程中需要一条实体基准线，因而需要更大尺寸的模组，同时还需要精确的机械对准与重新校正。此外，此方法不适用于光线条件差或变化不定的情况，很大程度上取决于物件的反光特性。
图1：立体视觉（来源：Tech Briefs）
结构光法 在结构光方法中，预先确定的光图案被投射于物件上，然后透过分析图案如何失真变形而取得深度资讯。由于讯框(frame)周期并无概念上的限制，也不至于造成任何动作模糊不清，对于多路径介面非常适用。然而，自动照明要求配置复杂的摄影机，以及在镜头与图形投影仪之间提供精确、稳定的机械校正功能。此外，这种方法存在着标定降级(de-calibration)的风险，反射的图案对于环境中的光干扰非常敏感，而且也仅限于室内应用。
图2：结构光法（来源：University of Kentucky、Laser Focus World）
雷射三角法 雷射三角法针对一条光束的几何偏移量进行测量，其数值与物件高度相关。这是一种基于物件扫描的单维成像方法。雷射点出现于摄影机视野范围内的不同位置，具体取决于雷射打在物件表面的距离范围。由于雷射点、摄影机与雷射发射器形成了一个三角形，因此这种方法被称为三角法。
图3：雷射三角法
位移与位置监控应用要求高准确度、高稳定性以及低温度变化，因此，一般采用高解析度雷射。雷射三角法的缺点在于这种方法只能覆盖到一段较小的距离范围，易受环境光线影响，并且仅限制于扫描应用。同时，它需要用到复杂演算法与校正，而且受到结构性或复杂表面的影响。
飞行时间法 此方法体现了在摄影机与场景之间，透过光子双向飞行时间直接撷取或计算距离的所有测量实施方法——可透过直接飞行时间法(D-ToF)或间接飞行时间法(I -ToF)测量方式执行。D-ToF的概念很简单，但需要配置复杂且具有限制时间解析(time-resolved)的装置；I-ToF的操作更简单：光源与影像感测器同步。光的脉冲以与摄影机快门一致的相位发射。采用光脉冲去同步化作用计算光子飞行时间，就能推导出发射点与物件之间的距离。
图4：ToF运作原理
这确保我们能够对每个画素的深度与幅度进行直接测量。这种影像称为深度图像。该系统具有较小的高宽比，只需一次校正，即可在环境光线条件下运作良好。不足之处在于它需要主动照明同步，而且可能出现多路径干扰与距离混叠。
每种方法都具有各自不同的优缺点，如表1。
目前，3D系统的应用尚未普遍，因此主要采用3D立体视觉法、结构光摄影机或雷射三角法系统。这些系统在固定的工作距离内运作，针对特定的测距区域则需要进行大量的校正工作。
ToF系统可克服这些方面的挑战，从应用面提供更大的灵活性。目前，由于画素的复杂度或耗电问题，大部份的商用解决方案仍受限于采用视讯图形阵列(VGA)或更低的影像解析度。
表1：常用的3D成像技术比较
看好ToF的应用前景，Teledyne e2v开发出首款3D ToF解决方案，支援130万画素解析度深度以及1英吋光学格式，并配置高灵敏度、高动态范围的CMOS感测器。
这种ToF途径可实现灰阶影像与深度融合功能：
先进的130万画素深度图解析度：全解析度的深度图，准确度达±1cm、速度快
可撷取快速移动的物件3D影像：速度高达120格/秒(fps)，30fps的全解析深度图、全域快门效率高
3D检测范围大：0.5-5m，支援90dB高动态范围(HDR)
可见光与近红外光(NIR)高灵敏度感测器：850nm波长时量子效率约50%，支援HDR：夜间/日夜视觉
嵌入式3D处理：多个感兴趣区域(multi-ROI)——双视窗、画素合并(binning)、芯片长条图资料统计功能
最新开发的展示平台可用于评估以深度图或点云格式输出的独特1.3MP深度解析度。
如图5所示的ToF系统展示平台由一个精巧的1英吋光学成像系统构成，配置高灵敏度的1.3MP感测器。该平台内建多整合芯片功能(闸极感测器)、光源以及相关光学元件，并以1.3MP全解析度实现ToF成像。
图5：ToF展示平台（来源：Teledyne e2v）
主动成像使用同步光源。辅助自动对焦功能是主动成像的简单形式，可见于低光条件下采用红外光讯号测距的现代摄影机中。主动成像可应用于恶劣天气条件(如下雨或起雾时)。而采用同样的感测器则可能实现两种主动成像方法：距离选通法与ToF。
距离选通法(range gating)结合了两种组成：脉冲光波前端装置与一台专业高速快门摄影机。首先将光线发射至目标物件，当反射光从反射表面返回时，摄影机高速电子快门适时地开启。距离选通成像可依据光与感测器的同步特性选择影像平面距离。因雨天、多雾或雾气粒子弥漫的环境导致目标物件与摄影机隔离时，部份光子仍得以穿过介质返回摄影机。这些光子被称为「弹道光子」(ballistic photon)。虽然这类光子数量较少，但可同步撷取这些光子，因此可透过散射介质进行成像。距离选通方法可在远距离成像，且几乎不受任何限制，但具体也取决于光源的强度。
飞行时间法(ToF)的工作原理不同于距离选通。它可以直接测量ToF光线，从而推导出反射面的距离。由于物件与摄影机之间距离短，因此，基于ToF的系统需要配置一个全域快门摄影机。相较于主动成像，ToF并非聚焦于特定的影像平面，因而能在理想范围内直接成像。
如图6所示，距离选通影像撷取的建置主要依据同步的摄影机光源系统。它能在主/从模式下运行，具体采用哪种模式取决于应用环境的状况。摄影机配置了快速的全域快门，速度快达数百奈秒(ns)。光源根据T0时间点摄影机的触发情况发射光脉冲。经过一段时间后(T1)，光脉冲到达此距离范围，并根据是否存在物件而发生反射与否。
在发生反射的情况下，光线在T2期间返回摄影机；在此情况下，T3 = T0 + 2 τ，其中τ是摄影机快门开启并撷取到反射讯号的返程飞行时间。在讯号格的时间内，这种周期过程周而复始几千次，最终累积到足够的讯号杂讯比(SNR)。产生的影像为灰阶影像，且仅与出现在距离范围内的物件一致。为了产生一个深度影像，必须在距离选通模式下扫描多个深度以取得一组影像，或调整延迟时间。然后根据这组影像计算各个点的距离。
图6：距离选通工作原理
图7描述了全域快门的画素感测器结构，以及其产生短曝光与讯号同步的原理。最简单的全域快门形式采用五个电晶体(5T)构成的画素，以及一个专用相位驱动器。因此，讯号积分相位并不是一次性完成的，而是随着同步多次积分而逐渐形成的。
图7：全域快门画素结构
Teledyne e2v的专利技术基于5T画素结构与计时产生器，以实现Δt周期(Δt周期缩短至10ns左右)。这表明在暂态解析度方面已获得了巨大的提升。支援高灵敏度/低杂讯的1.3MP CMOS影像感测器正配置了这项功能，并带有多暂态积分模式(又称「累积」模式)。此外，在影像感测器还需要有高寄生电荷灵敏度(PLS)，也称为「消光比」(extinction ratio)，能避免摄影机选通「关闭」期间的杂散光线，进而获得清晰的影像。
图8：支援计时调整与同步电路的5T画素CMOS需要充份的「消光比」，以避免场景的背景光线
为了提高工业系统的有效性与自主性，视觉系统在视觉引导机器人与其他自主机器设备中的应用日渐增多，目前已开始采用3D视觉系统(如物件辨识、准确度)。现有的几种3D方法都各自具有优点与限制，可取决于具体的应用要求作选择；其中，飞行时间法(ToF)提供了非凡的3D视角，可望推动新一代专用CMOS影像感测器的发展。
今天是《半导体行业观察》为您分享的第1531期内容，欢迎关注。
R
eading
推荐阅读（点击文章标题，直接阅读）
关注微信公众号 半导体行业观察，后台回复关键词获取更多内容
回复 面板，看更多面板行业的文章
回复 比特币，看更多与比特币、挖矿机相关的文章
回复 晶圆，看晶圆制造相关文章
回复 士兰微，看更多与士兰微公司相关的文章
回复 ISSCC，看《从ISSCC论文看半导体行业的走势》
回复 华为，看更多与华为公司相关的文章
回复 封装，看更多与封装技术相关的文章
回复 A股，看更多与上市公司相关的文章
回复 展会，看《2017最新半导体展会会议日历》
回复 投稿，看《如何成为“半导体行业观察”的一员 》
回复 搜索，还能轻松找到其他你感兴趣的文章！
点击阅读原文了解摩尔精英