dToF技术如何构建未来数字世界的“慧眼”？| 星科技•芯片半导体
前沿科技
芯片半导体
01
ToF技术在3D感知和成像
方向上不断拓展
根据国盛证券报告，ToF（Time of Flight）是通过测量发射光与反射光的飞行时间计算出光源与物体之间的距离，本质上是时间维度测量。根据测距的方式不同，目前存在两种ToF技术路线：iToF（间接飞行时间，indirect-ToF）和 dToF（直接飞行时间，direct-ToF）。
dToF直接测量飞行时间，原理是通过直接向测量物体发射光脉冲，并测量反射光脉冲和发射光脉冲之间的时间间隔，得到光的飞行时间，从而直接计算待测物体的深度。iToF则是通过发射特定频率的调制光，检测反射调制光和发射的调制光之间的相位差，测量飞行时间。
iToF间接测量飞行时间，具备低成本、较高分辨率优势，适用于短距离测距。由于iToF sensor的pixel相对较小，可实现相对高图像分辨率。但iToF的问题在于测距精度限制了最大测距距离。iToF传感器电路相对简单，难点主要在深度算法。
因此目前iToF主要应用在手机面部识别、手势识别等测距距离较短的场景中。除此之外，iToF在物体识别、3D重建以及行为分析等应用场景中能够重现场景中更多的细节信息，因此还被广泛应用于机器人、新零售等领域。
dToF直接测量飞行时间，具备低功耗、抗干扰等优势，适用于对测距精度要求高的较远距离测距场景。dToF原理为向被测物体发射光脉冲，通过对反射和发射光脉冲时间间隔的测量，直接计算待测物体的深度。测距原理使得dTOF测量精度不会因距离增大而降低，功耗更低同时对环境光的抗干扰能力更强。
dToF深度算法相对简单，难点在于用以实现较高精度的SPAD。dToF要检测光脉冲信号（纳秒甚至皮秒级），因而对光的敏感度要求会很高，因此接收端通常选择SPAD（单光子雪崩二极管）或者APD（雪崩光电二极管）这类传感器来实现，集成度弱于普通的CMOS图像传感器，像素尺寸一般大于10μm，从而分辨率通常较差，成本更高。
SPAD是dTOF技术的核心，技术难度大且制作工艺复杂，目前世界上极少厂家具备量产能力，集成难度很高难以小型化应用在手机等小型消费电子上。
未来TOF会向更高集成度、更小的传感器尺寸、更高分辨率发展。目前ToF技术低分辨率的固有缺陷仍然存在，未来有望随技术更迭而实现突破。虽然ToF测量精度量级仍然相较结构光方案落后，但近两年其传感器分辨率已经在提升。
当下，手机仍是ToF在消费电子中的主要应用领域，但随着市场对3D视觉与识别技术的兴趣日益浓厚，头部终端厂商推动TOF技术在3D感知和成像方向上不断拓展，TOF技术在智能手机端加速渗透，TOF的使用进一步丰富着3Dsensing的应用场景。伴随AR/VR的发展，ToF有望成为智能手机摄像头的下一个风口。
02
如何破解dToF成本端难题？
据爱集微介绍，相比起技术复杂、成本高（成像矩阵价格高昂）以及识别距离近的结构光方案而言，ToF可以实现更远的距离识别、更快的反应速度以及捕捉更多的三维信息，这也是其能够在AR这类非常强调交互性的领域备受热捧的核心所在。
iToF由于前期受益于技术的成熟度高以及性价比更具优势，得以在移动端快速放量，由此也反哺了技术端，推进整体模组成本的进一步下降。
相比之下，由于dToF具备真正意义上的距离检测、快速响应、低功耗以及对多物体检测的精确性，能够充分满足应用端对多传感的需求，特别适合被用作手机AR甚至AR眼镜的主导型3D传感方案。
尽管dToF本身的技术性能与AR应用的契合度很高，但由于成本迟迟难降，这也导致采用dToF方案来开发的项目在价格上往往都相对高企，这与dToF本身的零组件设计成本和工艺等一系列因素密切相关。
目前，dToF最有底气的应用当属智能手机端。国内某算法大厂资深人士认为：“主要还是因为当前智能手机的保有量最大，而且经过过去几年的耕耘，dToF在移动端AR领域已经有了一定的普及基础。当然，可以看到的方向是，汽车领域的AR应用，比如车内与虚拟人物之间的交互、手势识别以及车载DMS人脸识别等，也能够为dToF提供更大的市场空间。”
唯有上述应用场景真正带动dToF放量之后，dToF的成本之痛或许才会有些许缓解。目前，供应链企业也在不断寻找有潜力的应用来进一步推动dToF放量。除了过去几年曾经蓬勃发展的智能手机市场之外，其他领域比如智能汽车也开始加速导入相关技术。
03
灵明光子dToF方案
解锁专业电影效果
近日，骁龙8 Gen 2处理器正式亮相高通骁龙技术峰会，骁龙8 Gen 2的“导演模式”由高通携手虹软和灵明光子共创而成，首次实现安卓全新的“导演模式”，给安卓用户带来更好的视频拍摄体验。
今天，Vlog已经逐渐成为了人们记录生活、表达个性的重要方式。为了让更多普通消费者能随时随地想拍就拍，“手机导演模式”应运而生。在“导演模式”中，随着人物视线的移动，虹软提供的AI算法会检测到画面兴趣点的变化，然后引导相机对焦和跟焦，实现导演运镜的效果。同时，软件也通过复杂的深度估计算法，对人像焦平面以外的区域进行模拟光学镜头的虚化渲染，从而实现高画质的电影效果。
灵明光子提供的dToF硬件则在“对焦”、“深度估计”以及“复杂光线环境”的效果提升上有突出贡献，通过感知3D世界，超越了目前大部分手机的纯视觉（无ToF）方案。
Spot dToF是一种利用发射分散的点光斑获得散点位置下直接飞行时间的深度感测方案。在“导演模式”中，相比传统的PDAF（相位对焦法），Spot dToF方案在暗光或者逆光情况下，可将对焦速度提升1-2倍，对焦可以在2帧以内完成，并且不需要调整曝光的“拉风箱”动作，这对于流畅的视频拍摄非常关键。
此外，基于dToF的工作原理，它能够很好地区分玻璃等类似透明物对目标距离的干扰，甚至实现玻璃的识别，也就是视频展示中的玻璃对焦跟踪功能。并且，由于Spot dToF深度测量实现了高空间分辨率（大于24x24），也让我们可以在视频拍摄全画面任意位置上完成视频焦点切换、焦点追踪等高级操作。现有的有限点dToF激光对焦类产品实现该功能有不小的挑战。最后，Spot dToF还可以增强在弱纹理的墙面、桌面，以及弱光和逆光下的深度估计效果。
本次导演模式的demo硬件，实际是一个由灵明光子Spot dToF芯片以及基于此的模组组成的激光雷达。利用外置的专用线路和外壳，将激光雷达和两个RGB摄像头一并置于搭载骁龙8 Gen 2的Qualcomm Reference Design(QRD) 手机上。
相比iToF方案，dToF具有更低功耗，更高准度，更远室外距离，还有玻璃检测等功能。灵明光子高性能Spot dToF芯片，采用最先进的3D stacking（hybrid bonding）工艺，在940nm波段具有高达20%的光子探测效率，帧率实现15-60FPS可选。并且该芯片测距范围覆盖0.1m-19m，Rx功耗低至70mW，室外性能至少达到6m@100klux。
灵明光子和虹软在之前的合作中，完成了基于神经网络的RGB+ToF深度补全算法，以及基于ARCore SLAM的网格化（Mesh）。深度补全算法通过提供高分辨率的深度图，能实现视频虚化效果，AR虚实遮挡，甚至动作捕捉；Mesh算法则展示了基于ToF更快速的SLAM效果以及更准确的3D场景建模能力。
未来，借助Spot dToF的3D感知能力，弱光人像模式以及基于AI图像语义分割技术（segmentation ）的智能相机，都可以在安卓手机上继续提升。灵明光子也将持续发力，为手机3D传感、车载雷达、AR设备等多样化的应用打开“第三只眼”，并从此推开三维世界的大门。
参考来源
https://mp.weixin.qq.com/s/Hp61MVvRtvp9ElvBbFdCUw
https://baijiahao.baidu.com/s?id=1741136688756624775&wfr=spider&for=pc
https://mp.weixin.qq.com/s/zyHSxbfUWQZwrUu3JdS5Bw
END
相关阅读