TOF飞行时间技术

印宁华|印宁华|Indining China|

2023-03-16 08:35:38 869

TOF是Time of flight的简写，直译为飞行时间的意思。飞行时间技术在广义上可理解为通过测量物体、粒子或波在固定介质中飞越一定距离所耗费时间（介质/距离/时间均为已知或可测量），从而进一步理解离子或媒介某些性质的技术。

1 测距最早应用该原理的器件是超声测距仪。

ToF测距方法属于双向测距技术，它主要利用信号在两个异步收发机(Transceiver)（或被反射面）之间往返的飞行时间来测量节点间的距离。传统的测距技术分为双向测距技术和单向测距技术。在信号电平比较好调制或在非视距视线环境下，基于RSSI(Received Signal Strength Indication，接收的信号强度指示)测距方法估算的结果比较理想;在视距视线环境下，基于ToF距离估算方法能够弥补基于RSSI距离估算方法的不足。

ToF测距方法有两个关键的约束：一是发送设备和接收设备必须始终同步;二是接收设备提供信号的传输时间的长短。为了实现时钟同步，ToF测距方法采用了时钟偏移量来解决时钟同步问题。Renesas(Intersil)的ToF信号处理IC——ISL29501方案就是典型的ToF方案，可用于所有光照条件，并且实现了小型化和电池应用的低功耗。因为信号处理器技术使用了基于相位的ToF来应对检测物体周围的环境光的影响。

ISL29501 是一款创新的飞行时间 ( Time of Flight，简称 ToF ) 信号处理 IC，可与外部发射器（LED或激光）及光敏二极管一起构成完整的目标物检测和距离测量解决方案。ISL29501 提供*的功能，包括超小尺寸、低功耗和*的性能，是构成物联网 ( IoT ) 的联网设备以及消费移动设备和新兴商业无人机应用的理想选择。ISL29501 采用电源管理技术专长来节省功耗，并通过多项创新成果延长电池续航时间。可编程电流可达 255mA 的片上发射器 DAC 允许系统设计工程师选择他们中意的用于驱动外红外 ( IR ) LED 或激光的电流电平。该特性可帮助优化距离测量、目标物检测和功率预算。ISL29501 的单次触发模式有助于设计工程师定义针对初始目标物检测和近似距离测量的采样周期，从而节省功耗，而连续模式能够更准确地测量距离。ISL29501 还执行系统校准，以适应外部元件由于温度和环境光条件变化而引起的性能波动。

ISL29501典型应用电路

2 微电子学

飞行时间技术可用来估计电子迁移相关性质。起初该原理被用于测量低电导率的薄膜，后来进一步拓展到了常见半导体等。利用激光或电压脉冲激发出来的大量电荷，该技术也能用于金属-绝缘体-金属（MDM）结构 [2] 或有机场效应晶体管 [3] 等领域。

3 医学

在磁共振血管造影（Magnetic resonance angiography，MRA）领域，飞行时间法是一项主要的基础技术。MRA可用于动脉瘤，血管狭窄等症状的判断，或用于某些解剖学领域。

4 质谱学

在飞行时间质谱学领域，不同的离子可通过电场加速至同样的动能，而其速度由质荷比决定。因此可用过飞行时间技术测量速度从而得知质荷比，并进一步得知动能等信息。

连续波ToF和脉冲ToF

对于不具有高精度要求的应用，CW系统可能比基于脉冲的系统更易于实现，因为光源不一定要非常短，且具有快速的上升/下降沿，尽管很难再现。在实践中是*的正弦波。然而，如果对精度的要求变得更加严格，则将需要更高频率的调制信号，并且在实践中可能难以实现。

由于照明信号的周期性，来自CW系统测量的任何相位测量都将每2π环绕一次，这意味着会有混叠距离。对于只有一个调制频率的系统，混叠距离也将是最大可测量距离。为了克服该限制，可以使用多个调制频率来执行相位展开，其中，如果具有不同调制频率的两个（或多个）相位测量值与估计距离相一致，则可以确定对象的真实距离。这种多调制频率方案还可用于减少多径误差，该误差在来自物体的反射光在返回传感器之前撞击另一个物体（或在透镜内部内部反射）时发生，从而导致测量误差。

取决于其配置，CMOS ToF成像器往往具有更大的灵活性和更快的读出速度，因此可以实现诸如感兴趣区域（RoI）输出之类的功能。

在温度范围内校准CW ToF系统可能比脉冲ToF系统容易。随着系统温度的升高，由于温度变化，解调信号和照明将相对于彼此偏移，但是这种偏移只会影响测量距离，而偏移误差在整个范围内都是恒定的，并且深度线性度基本保持稳定。

连续波系统的缺点：

尽管CMOS传感器与其他传感器相比具有更高的输出数据速率，但CW传感器需要在多个调制频率上进行四个相关函数采样以及多帧处理才能计算深度。较长的曝光时间可能会限制系统的总体帧速率，或者可能导致运动模糊，从而可能会将其限制用于某些类型的应用程序。这种更高的处理复杂性可能需要外部应用程序处理器，这可能超出了应用程序的要求。

对于更长距离的测量或环境光水平较高的环境，将需要更高的连续光功率（与脉冲ToF相比）；激光的这种连续照射可能会导致散热和可靠性问题。

基于脉冲的ToF技术系统的优势：

基于脉冲的ToF技术系统通常依赖在短积分窗口内以非常短的脉冲串发射的高能量光脉冲。这具有以下优点：

它使设计对环境光稳定的系统变得更加容易，因此更有利于室外应用。
较短的曝光时间可最大程度地减少运动模糊的影响。
在基于脉冲的ToF系统中，照明的占空比通常比可比的CW系统的照明占空比低得多，因此具有以下优点：
在较低范围的应用中，它降低了系统的整体功耗。过将脉冲猝发置于帧中与其他系统不同的位置，可以避免来自其他脉冲ToF系统的干扰。这可以通过在各种系统的帧中协调脉冲的放置或通过使用外部光电检测器确定其他系统的脉冲的位置来完成。另一种方法是动态随机化脉冲突发的位置，这将消除协调各个系统之间的时序的需要，但不会完全消除干扰。由于脉冲时序和宽度不需要统一，因此可以实施不同的时序方案以实现诸如更宽的动态范围和自动曝光等功能。

基于脉冲的ToF技术系统的缺点：
由于透射光脉冲和快门的脉冲宽度需要相同，因此系统的定时控制需要非常精确，并且根据应用需要可能需要皮秒级的精度。为了获得最大效率，照明脉冲宽度必须非常短，但功率却很高。因此，激光驱动器需要非常快的上升/下降沿（小于1 ns）。与CW系统相比，温度校准可能更加复杂，因为温度变化会影响单个脉冲宽度，不仅影响偏移和增益，还影响其线性。

关于dTOF和iTOF

了解了ToF的概念之后，让我们再来深入了解一下两类ToF的基本成像原理

dToF，全称是direct Time-of-Flight。顾名思义，dToF直接测量飞行时间。dToF核心组件包含VCSEL、单光子雪崩二极管SPAD和时间数字转换器TDC。Single Photon Avalanche Diode(SPAD)是一种具有单光子探测能力的光电探测雪崩二极管，只要有微弱的光信号就能产生电流。dToF模组的VCSEL向场景中发射脉冲波，SPAD接收从目标物体反射回来的脉冲波。Time Digital Converter(TDC)能够记录每次接收到的光信号的飞行时间，也就是发射脉冲和接收脉冲之间的时间间隔。dToF会在单帧测量时间内发射和接收N次光信号，然后对记录的N次飞行时间做直方图统计，其中出现频率最高的飞行时间t用来计算待测物体的深度，。图1是dToF单个像素点记录的光飞行时间直方图，其中，高度最高的柱对应的时间就是该像素点的最终光飞行时间。

单像素记录的光飞行时间直方图示意图

dToF的原理看起来虽然很简单，但是实际能达到较高的精度很困难。除了对时钟同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而dToF中的核心组件SPAD由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究dToF的厂家并不多，更多的是在研究和推动iToF。

iToF的概念和dToF相对应，全称是indirect Time-of-Flight，直译就是间接光飞行时间。所谓间接，就是指iToF是通过测量相位偏移来间接测量光的飞行时间，而不是直接测量光飞行时间。

iToF向场景中发射调制后的红外光信号，再由传感器接收场景中待测物体反射回来的光信号，根据曝光（积分）时间内的累计电荷计算发射信号和接收信号之间的相位差，从而获取目标物体的深度。如图2所示。

iToF成像原理示意图

iToF模组的核心组件包含VCSEL和图像传感器。VCSEL发射特定频率的调制红外光。图像传感器在曝光（积分）时间内接收反射光并进行光电转换。曝光（积分）结束后将数据读出，经过一个模拟数字转换器再传给计算单元，最终由计算单元计算每个像素的相位偏移。iToF计算深度的方式通常是采用4-sampling-bucket算法，利用4个相位延迟为0°，90°，180°和270°的采样信号计算深度。如图3所示

连续波调制方式测相位偏移原理示意图

根据上述原理图，可以得到相位偏移的计算公式，。然后，再根据相位偏移计算深度，。其中，是调制信号的频率，是光速。

性能对比

dToF和iToF虽然都是利用光飞行时间技术，但是两者在测距原理和硬件实现上都有差异。软硬件的差异会导致这两类ToF在各方面的性能表现上各有千秋。

衡量ToF的性能指标，需要考虑几个方面。因为ToF是一个可以测距的相机，作为一个测距设备，基本的评价指标有测距精度和有效探测距离。其次，作为相机而言，图像分辨率也是一个重要的评价指标。此外，由于ToF本身只能提供3D信息，它将来更多的发展是集成到3D相关的应用，比如3D建模、AR以及移动平台。在集成到其他3D相关的应用时，尤其是移动端和机器人平台，必须要考虑它的能耗和成本，以及在各种复杂场景下的抗干扰能力。以上的这些特性，决定了dToF和iToF有着各自适用的应用场景。

接下来，我们会从精度、有效探测距离、图像分辨率、能耗、成本、抗干扰等7个方面，对比iToF和dToF的优劣。

精度精度指真实深度值和相机的测量值之间的差，是衡量一个测量设备的基本指标。
对于dToF，由于它采用单光子雪崩二极管（SPAD），能够在很短的时间间隔内测量吸收的光子数，最小能够在级的时间内产生响应电流。TDC的时间分辨率也高于，所以它的理论精度可以达到。但是，由于雪崩过程存在量子噪声和放大器噪声，以及dToF中TDC模块存在的固有噪声，导致目前dToF的实际精度只能达到cm级，和iToF相近。但是，理论上dToF的测量误差不会随着测量距离的增加而增大。

iToF的测量精度和几个因素有关，分别是调制光的频率，光照功率以及积分时间。前文已经提到了iToF的深度计算公式。由此，可以推出深度噪声（精度）。由于c对应光速，是一个固定值，所以深度精度和调制光的频率、相位信噪比（phase SNR）有关。当相位信噪比一定时，频率越高，深度噪声越小，也意味着深度精度越高。

iToF的相位信噪比和传感器接收到的光电流有关系。

其中，代表调制信号生成的电子，代表调制光和环境光生成的电子总和，代表电容的固有噪声，是调制对比度，描述传感器分离和收集光电子的质量。所以，调制光信号生成的电子数越多，相位信噪比越大，进而推出深度精度越高。增大有两种方式，一种是增大光照功率，另外一种就是延长曝光时间，也就是前文提到的积分时间。

总的来说，目前的iToF深度精度在级，并且随着测量距离的增大，反射光的强度减小，相位测量的信噪比减小，*误差也会随之增大。

有效探测距离 有效探测距离指相机能够输出可靠深度的距离范围，可靠深度意味着该深度值和真实值的误差小于一定阈值。举个简单的例子，假设测量误差在2cm以内时，我们视作该深度值是可靠的。如果一个ToF模组测量5米的物体时，测量值是5.02米，误差刚好达到了预先定义的极限。当物体位于5.01米时，测量值是5.22米，误差超出了2cm。我们就可以说该ToF模组的有效探测距离是5米。

当然，限制ToF的有效探测距离的主要因素之一是相位模糊现象。

对于dToF而言，当测量距离较远时，光飞行一个来回的时间超过了两次连续发射脉冲的间隔，传感器在发射第二个测量信号后，才接收到*个测量信号的反射波，就会把该反射波错认为是第二个测量信号的近距离反射波，这时就会出现相位模糊现象。如图4所示。图4中case1表示的是近距离场景下dToF的测距原理图，case2表示的是远距离场景下，发生相位模糊现象的测距原理图。

dToF脉冲测距原理示意图

对于iToF而言，深度是通过相位偏移计算得到的，而相位偏移是通过一个反正切函数得到的。反正切函数的返回值只会落在，所以测量深度的返回值也只会落在。换言之，即使实际距离超出了，最终iToF的输出深度也会落在。这是由于三角函数的周期性带来的相位模糊。

dToF会受到测量频率（相邻两次测量的间隔时间）限制，iToF的有效探测距离会受到调制光的频率限制。dToF在测量远距离物体时，可以适当增加两次测量之间的间隔，减少测量次数。但是，减少测量次数会同时降低测量精度，相当于是用精度换取有效探测距离。而iToF也可以通过降低调制光的频率，从而牺牲一定的测量精度以获得更远的有效探测距离。

对于iToF而言，可以利用双频解决相位模糊现象。利用两个不同频率的测量数据去求解相位模糊度，从而恢复正确深度值。借助双频测量可以同时实现高精度测量和高有效探测距离。

图像分辨率 dToF的图像分辨率受到SPAD的限制，分辨率一般小于QVGA（320*240像素），新款iPad Pro的dToF分辨率有所提升，但是具体大小还未可知。

iToF技术发展相对成熟，图像的分辨率大多都达到了QVGA（320*240像素），上海数迹的TC-S系列相机的分辨率可以达到VGA（640*480像素）。微软最新的Kinect有多个图像分辨率，最高可以达到1024*1024像素。

能耗从发射信号来看， dToF则采用级的脉冲激光，iToF目前大多采用连续波调制。相比较而言，脉冲波能够达到超低占空比，所以功耗也较低。

从光照模式来看，由于dToF的测量精度不会随着测量距离的增大而降低，所以功耗也会相对较低。反之，iToF目前采用的大多是面光发射方式。并且，随着测量距离的增大，iToF需要提高光照功率或者延长曝光时间来获取更高的精度，所需的功耗也会大幅增加。

成本 dToF采用的是数字电路架构，不需要模数转换。iToF采用的是模拟电路结构，需要模数转换芯片。

对于整体的硬件架构而言，dToF的核心组件SPAD的制作工艺复杂，现有的资源少。iToF没有这方面的顾虑。

在系统集成方面， dToF还需要额外的时间处理电路，系统集成难度较高。iToF的系统集成容易，不需要额外的测量电路。

抗环境干扰 环境干扰包括场景中环境光干扰、多路径反射光干扰以及不同表面灰度等影响。这一类环境干扰发生在外界，和ToF本身的关系不大，环境干扰的差异主要是由不同ToF的测距原理引起的。

dToF单帧深度图获取时，会经历多次重复测量，并且采用时间直方图统计的方式计算飞行时间，比较容易区分信号中的干扰成分。抗环境干扰能力更强。

iToF在曝光阶段，部分环境光混杂在调制光中被传感器接收，然后计算相位偏移。无法从单次测量的结果中区分出环境光引起的干扰。环境光越强，相应的，引起的深度误差也越大。

应用场景 dToF功耗低，并且体积小巧，更加适合工业机器人等需快速进行测距避障检测的应用，以及其他在空间受限的紧凑型设计中。

dToF抗环境干扰表现比较好，目前在户外场景下的测距精度比iToF更加高，在户外应用场景中也比较占优。

dToF的时间分辨率高，测量距离增大时精度不会大幅衰减，能耗也不会大幅提升，在AR应用中的优势也比较显著。

iToF的图像分辨率较高，在物体识别，3D重建以及行为分析等应用场景中能够重现场景中更多的细节信息，在机器人、新零售等应用领域占优。

3D ISP

dToF和iToF两者的目标都是输出一幅高质量的深度图像，所以两者都需要深度数据层面的滤波和噪声修正，比如空域滤波、点云域的噪声滤波以及非一致性像素校准等。此外，两者都拥有透镜成像系统，所以无论是dToF还是iToF，都需要透镜失真补偿。硬件的温度变化带来的噪声也同时存在于两种ToF中，所以温度补偿也是两者所必需的。

dToF是发射脉冲波，而不是特定频率的调制波，所以dToF不需要做和调制光的频率相关的处理，包括频率校准、自动频率选择、高动态范围（HDR）。但是dToF的发射脉冲也有一定的频率，即相邻两个发射脉冲之间的时间间隔，dToF的频率校准和发射脉冲的频率相关。dToF仅仅输出深度图，而iToF同时输出深度图和幅值图，所以dToF不需要做幅值校准。

此外，由场景干扰引起的多径、相位模糊、运动模糊、内反射等都是两者所共有的问题，虽然dToF因为成像原理的特性具有更好的抗环境干扰能力，但是还是会受到这一类场景干扰的影响。不过不同的是，因为dToF和iToF的成像原理不同，两者所需要的深度修正方式也会有所差异。

dToF和iToF两者因为测距原理和硬件架构的不同，各方面的性能互有优劣，适用场景也不尽相同。两者均面临场景的适应性，如何在任意场景下获取可靠和准确的深度数据是非常大的技术挑战，是ToF技术普及的关键。ToF应用技术的普及有赖于3D ISP增强引擎来消除干扰，降低功耗，提高实时性能；需要面向3D行业的ISP IP及中间件，有力支撑上层应用。所以说3D ISP是3D成像市场爆发的必要条件。数迹智能团队正在研发3D ToF ISP Smart3D-ISP，以ISP技术为核心系统性地提升无论是dToF还是iToF的性能并降低功耗和成本是多年来的研发目标，将我们的3D ToF技术植入每部手机、每辆汽车、每个机器人、每台家电，从而改变机器对*的“看法”，实现深度的智能。

免责声明：本文转载自“大印蓝海科技”，本文仅代表作者个人观点，不代表萨科微及行业观点，只为转载与分享，支持保护知识产权，转载请注明原出处及作者，如有侵权请联系我们删除。

上一篇：: 400G 以太网PAM-4信令取代NRZ

下一篇：: 特斯拉下一代永磁电机去稀土分析

印宁华

TOF飞行时间技术

客服QQ2635709730

客服QQ
2635709730