论文部分内容阅读
上周，我们受邀前往OPPO北京办，参加了一场关于TOF技术的沟通会。OPPO首次向外界介绍了其TOF技术，以及对未来发展及应用的理解，同时宣布将会在“下一款产品”中正式加入该技术。
这是OPPO继实现FaceKey 3D结构光技术大规模量产（Find X）之后，在3D视觉技术方面的又一次重要技术突破。
3D结构光和TOF的区别
TOF（Time of flight，飞行时间）技术是什么，相信关注科技的Fans都不会陌生。它并不是一个新技术，前不久发布的小米8，甚至前年上市的iPhone 7，包括微软Kinect二代等设备，都搭载了该技术。
并且大家都知道，vivo已经抢先一步，在5月举行的MWCS 2018大展上，公布了自家的TOF技术方案，对此我们也进行过相关报道。
简单来说，TOF技术就是通过给被测目标连续发送光信号，然后在传感器端接收从被测目标返回的光信号，再通过计算发射和接收光信号的往返飞行时间，得到被测目标的距离。
TOF技术相当于在传统2D XY轴的成像基础上，加入了Z轴方向的深度信息，最终可以生成3D的图像信息。所以对于所生成的3D视觉信息精度的评判维度，一定要加入Z方向，也就是纵向的精度，这也是所有3D视觉技术的关键。
那么问题来了，既然同为3D视觉技术，已经发布3D结构光技术，并领先业界将其应用在Find X上的OPPO，为什么还要研发TOF技术呢？
首先要搞清楚的是，目前行业中主流的3D视觉方案有3种：1.双目立体视觉；2.3D结构光；3.TOF。其中，双目立体视觉方案属于被动采集，而3D结构光和TOF则属于主动采集。
此外，主动采集方案针对应用场景又做了细分：3D结构光的原理是发射衍射光斑到物体上，传感器接收到发生形变的光斑，从而根据光斑形变的量来判断深度信息。它所发射的衍射光斑在一定距离外能量密度会降低，所以不适用于远距离的深度信息采集，所以我们目前看到的量产方案（iPhone X、OPPO Find X）都用在前置模组上，专注于人脸识别，进而应用于人脸解锁、支付、美颜等环节。
而TOF技术发射的不是散斑，而是面光源，所以在一定距離内，TOF的光信息不会出现大量衰减。同时，TOF感光元件的像素尺寸非常大（OPPO的TOF感光元件达到了10μm），对于光的采集有足够的保障。理论上只要提高发射端的功率，TOF的使用距离可以非常远，适用于相对远距离的3D信息采集，应用的范围和想象空间也更广。比如对被采集对象进行全身建模，或者对自家客厅进行全景建模等等，所以更适合被应用在后置模组上。
OPPO有什么不同？
OPPO产品经理赵雨其在进行技术讲解时也表示，对于手机来说，这两种技术恰好分别对应着前置和后置使用场景。
目前，搭载3D结构光技术的Find X已经上市，而根据赵雨其的说法，OPPO的“下一款产品”也将正式加入TOF技术，并且明年有望推出同时具备这两项技术的机型。由此，OPPO也成为了行业内首个在3D结构光和TOF技术方面，都有产品发布的厂商。
不过我前面已经提到，OPPO其实并非首个发布TOF技术的厂商，vivo在5月举行的MWCS 2018大展上，就公布了自己的TOF技术方案。那么和vivo等友商相比，OPPO的TOF技术有什么不同呢？
从硬件上看，TOF模组由五大核心单元组成：
1.红外发射单元。包括Vcsel发射器和Diffuser扩散器。Vcsel发出的是脉冲方波，波长为940nm，该波长的红外光是非可见光。同时在光谱中的量最少，可以避免环境光的干扰。由Vcsel发射出的光源，还会通过Diffuser扩散器将光调制成均匀的面光源后，再发射出去。
2.光学透镜。用于汇聚反射回来的光线，在光学传感器上成像。不过与普通光学镜头不同的是，它需要加一个窄带滤光片，以保证只有与发射的光信号波长相同（940nm）的光才能进入。这样做的目的是抑制非相干光源，减少背景噪声，同时防止传感器因外部光线干扰而过曝。
3.成像传感器。与一般相机的感光元件类似，用来接收反射回来的光，并在传感器上进行光电转换。不过由于TOF的原理，传感器的感光时间非常短，所以单像素尺寸比一般相机的大很多。比如目前RGB在用的像素尺寸为1μm，而OPPO的TOF传感器的像素尺寸则为10μm。
4.控制单元。即激光发射器的驱动IC，能够驱动激光用上限达到100MHz的高频脉冲驱动，同时消除各类干扰，保证驱动波形是完美的方波，上升沿和下降沿时间在0.2ns左右，从而有效保障高精度的深度信息的提取。
5.核心算法计算单元。即手机AP，将深度提取的核心算法library移植到AP中，AP从模组中读取单模组校准的数据，驱动深度提取算法library，将RAW图换算成深度图，然后将深度图用于各个应用。
看上去有点枯燥，简单来说，TOF技术的核心，就是在传统的2D XY轴的成像基础上，加入了Z轴方向的深度信息，最终才能生成3D图像信息。所以对于所生成的3D视觉信息精度的评判维度，一定要加入Z方向。而OPPO的TOF技术方案，就是专注于Z轴精度方面的研发。
根据OPPO 3D视觉技术研发项目经理张学勇的介绍，OPPO的TOF技术采用了双频驱动，采样率为240帧，即每个单频对应4个相位，每个相位对应一个激光脉冲，从而获得8帧RAW图，最后再每8帧合成一张深度信息。
而市面上其他方案一般为30帧，每一张深度信息只采用一帧的信息，所以在Z方向的精度上，OPPO的解决方案更高，可以做到绝对精度为1%，相对精度为0.5%。
3轮设备更新只为更高的成像精度
同时为了进一步确保TOF的工作精度，张学勇表示，OPPO专门定制了精度标定的工序，这是行业内目前几乎都不会做的。因为对于TOF单元来说，它的构造极其精密，每一个环节都会影响到最终3D成像的精度。所以OPPO在研发过程中，仅针对精度标定就已经进行了3轮设备更新，研发出了一套4个距离+4个角度多次标定的创新组合方案，目的就是为最终产品的体验打好基础。
大家千万不要小看这一点精度可能产生的体验差异。举个例子，AR装潢，你拿着手机将一个电视柜准确地放在了客厅的两堵墙之间，尺寸刚刚好，立马下单。结果送到了一看，放不进去，电视柜的尺寸也没错，而是用于测量的手机TOF精度不够高，误判了墙间距导致的，退换货服务费20%……
我举的这个例子绝非只是为了搞笑，这样的应用也并非什么遥不可及，而是真的近在眼前，很快就会大量融入我们的生活，这就是TOF技术给行业带来的改变。
由于TOF更适合远距离的3D信息采集，对应手机的后置使用场景，这就使得它的应用范围更广，想象空间也更大。只要在合理范围内的物体（5m），都可以通过TOF进行3D建模，建模后的信息则能通过3D信息展示终端，例如手机、AR、全息影像等方式展现出来，比如我们前面提到的AR装潢，还有3D试装、AR游戏、体感游戏等，都可以通过TOF技术实现。
TOF技术的全面应用与普及，无疑将深度影响手机、电商、游戏等多个行业，未来手机将不再只是我们的眼睛或者耳朵，而是模拟与构建平行空间的计算平台。电商及游戏领域的体验也将因此而彻底改变，3D试装及AR装潢这样的应用，无疑会使购物变得更加简单有趣。而《头号玩家》那样的游戏体验，也会随着TOF技术的到来而更进一步。
此外，OPPO也早已投入了5G网络的标准指定与技术研发，随着2019年的商用，5G网络的高带宽将为3D视觉技术提供信息传输保障。在不久的将来，3D视频通话、虚景+虚景的远程VR、虚景+实景的远程AR、实景+实景的远程JR等“泛在现实”应用，将迎来爆发式增长，科幻电影里的那些场景，正在成为现实。而这些都离不开TOF技术的支持。
这是OPPO继实现FaceKey 3D结构光技术大规模量产（Find X）之后，在3D视觉技术方面的又一次重要技术突破。
3D结构光和TOF的区别
TOF（Time of flight，飞行时间）技术是什么，相信关注科技的Fans都不会陌生。它并不是一个新技术，前不久发布的小米8，甚至前年上市的iPhone 7，包括微软Kinect二代等设备，都搭载了该技术。
并且大家都知道，vivo已经抢先一步，在5月举行的MWCS 2018大展上，公布了自家的TOF技术方案，对此我们也进行过相关报道。
简单来说，TOF技术就是通过给被测目标连续发送光信号，然后在传感器端接收从被测目标返回的光信号，再通过计算发射和接收光信号的往返飞行时间，得到被测目标的距离。
TOF技术相当于在传统2D XY轴的成像基础上，加入了Z轴方向的深度信息，最终可以生成3D的图像信息。所以对于所生成的3D视觉信息精度的评判维度，一定要加入Z方向，也就是纵向的精度，这也是所有3D视觉技术的关键。
那么问题来了，既然同为3D视觉技术，已经发布3D结构光技术，并领先业界将其应用在Find X上的OPPO，为什么还要研发TOF技术呢？
首先要搞清楚的是，目前行业中主流的3D视觉方案有3种：1.双目立体视觉；2.3D结构光；3.TOF。其中，双目立体视觉方案属于被动采集，而3D结构光和TOF则属于主动采集。
此外，主动采集方案针对应用场景又做了细分：3D结构光的原理是发射衍射光斑到物体上，传感器接收到发生形变的光斑，从而根据光斑形变的量来判断深度信息。它所发射的衍射光斑在一定距离外能量密度会降低，所以不适用于远距离的深度信息采集，所以我们目前看到的量产方案（iPhone X、OPPO Find X）都用在前置模组上，专注于人脸识别，进而应用于人脸解锁、支付、美颜等环节。
而TOF技术发射的不是散斑，而是面光源，所以在一定距離内，TOF的光信息不会出现大量衰减。同时，TOF感光元件的像素尺寸非常大（OPPO的TOF感光元件达到了10μm），对于光的采集有足够的保障。理论上只要提高发射端的功率，TOF的使用距离可以非常远，适用于相对远距离的3D信息采集，应用的范围和想象空间也更广。比如对被采集对象进行全身建模，或者对自家客厅进行全景建模等等，所以更适合被应用在后置模组上。
OPPO有什么不同？
OPPO产品经理赵雨其在进行技术讲解时也表示，对于手机来说，这两种技术恰好分别对应着前置和后置使用场景。
目前，搭载3D结构光技术的Find X已经上市，而根据赵雨其的说法，OPPO的“下一款产品”也将正式加入TOF技术，并且明年有望推出同时具备这两项技术的机型。由此，OPPO也成为了行业内首个在3D结构光和TOF技术方面，都有产品发布的厂商。
不过我前面已经提到，OPPO其实并非首个发布TOF技术的厂商，vivo在5月举行的MWCS 2018大展上，就公布了自己的TOF技术方案。那么和vivo等友商相比，OPPO的TOF技术有什么不同呢？
从硬件上看，TOF模组由五大核心单元组成：
1.红外发射单元。包括Vcsel发射器和Diffuser扩散器。Vcsel发出的是脉冲方波，波长为940nm，该波长的红外光是非可见光。同时在光谱中的量最少，可以避免环境光的干扰。由Vcsel发射出的光源，还会通过Diffuser扩散器将光调制成均匀的面光源后，再发射出去。
2.光学透镜。用于汇聚反射回来的光线，在光学传感器上成像。不过与普通光学镜头不同的是，它需要加一个窄带滤光片，以保证只有与发射的光信号波长相同（940nm）的光才能进入。这样做的目的是抑制非相干光源，减少背景噪声，同时防止传感器因外部光线干扰而过曝。
3.成像传感器。与一般相机的感光元件类似，用来接收反射回来的光，并在传感器上进行光电转换。不过由于TOF的原理，传感器的感光时间非常短，所以单像素尺寸比一般相机的大很多。比如目前RGB在用的像素尺寸为1μm，而OPPO的TOF传感器的像素尺寸则为10μm。
4.控制单元。即激光发射器的驱动IC，能够驱动激光用上限达到100MHz的高频脉冲驱动，同时消除各类干扰，保证驱动波形是完美的方波，上升沿和下降沿时间在0.2ns左右，从而有效保障高精度的深度信息的提取。
5.核心算法计算单元。即手机AP，将深度提取的核心算法library移植到AP中，AP从模组中读取单模组校准的数据，驱动深度提取算法library，将RAW图换算成深度图，然后将深度图用于各个应用。
看上去有点枯燥，简单来说，TOF技术的核心，就是在传统的2D XY轴的成像基础上，加入了Z轴方向的深度信息，最终才能生成3D图像信息。所以对于所生成的3D视觉信息精度的评判维度，一定要加入Z方向。而OPPO的TOF技术方案，就是专注于Z轴精度方面的研发。
根据OPPO 3D视觉技术研发项目经理张学勇的介绍，OPPO的TOF技术采用了双频驱动，采样率为240帧，即每个单频对应4个相位，每个相位对应一个激光脉冲，从而获得8帧RAW图，最后再每8帧合成一张深度信息。
而市面上其他方案一般为30帧，每一张深度信息只采用一帧的信息，所以在Z方向的精度上，OPPO的解决方案更高，可以做到绝对精度为1%，相对精度为0.5%。
3轮设备更新只为更高的成像精度
同时为了进一步确保TOF的工作精度，张学勇表示，OPPO专门定制了精度标定的工序，这是行业内目前几乎都不会做的。因为对于TOF单元来说，它的构造极其精密，每一个环节都会影响到最终3D成像的精度。所以OPPO在研发过程中，仅针对精度标定就已经进行了3轮设备更新，研发出了一套4个距离+4个角度多次标定的创新组合方案，目的就是为最终产品的体验打好基础。
大家千万不要小看这一点精度可能产生的体验差异。举个例子，AR装潢，你拿着手机将一个电视柜准确地放在了客厅的两堵墙之间，尺寸刚刚好，立马下单。结果送到了一看，放不进去，电视柜的尺寸也没错，而是用于测量的手机TOF精度不够高，误判了墙间距导致的，退换货服务费20%……
我举的这个例子绝非只是为了搞笑，这样的应用也并非什么遥不可及，而是真的近在眼前，很快就会大量融入我们的生活，这就是TOF技术给行业带来的改变。
由于TOF更适合远距离的3D信息采集，对应手机的后置使用场景，这就使得它的应用范围更广，想象空间也更大。只要在合理范围内的物体（5m），都可以通过TOF进行3D建模，建模后的信息则能通过3D信息展示终端，例如手机、AR、全息影像等方式展现出来，比如我们前面提到的AR装潢，还有3D试装、AR游戏、体感游戏等，都可以通过TOF技术实现。
TOF技术的全面应用与普及，无疑将深度影响手机、电商、游戏等多个行业，未来手机将不再只是我们的眼睛或者耳朵，而是模拟与构建平行空间的计算平台。电商及游戏领域的体验也将因此而彻底改变，3D试装及AR装潢这样的应用，无疑会使购物变得更加简单有趣。而《头号玩家》那样的游戏体验，也会随着TOF技术的到来而更进一步。
此外，OPPO也早已投入了5G网络的标准指定与技术研发，随着2019年的商用，5G网络的高带宽将为3D视觉技术提供信息传输保障。在不久的将来，3D视频通话、虚景+虚景的远程VR、虚景+实景的远程AR、实景+实景的远程JR等“泛在现实”应用，将迎来爆发式增长，科幻电影里的那些场景，正在成为现实。而这些都离不开TOF技术的支持。