论文部分内容阅读
要说当下国内乃至全球最火的Android手机,那么一定非vivo NEX莫属。凭借以升降式前置摄像头为首的一系列“黑科技”,该机成为了目前最接近全面屏“终极形态”的旗舰之一。近日,vivo在MWCS18(2018世界移动大会-上海)发布了TOF 3D超感应技术,不但顺理成章地霸屏成为首日焦点,也再次引发了全行业的关注。受vivo邀请,我们有幸成为首批体验到该技术的媒体之一,发现了许多亮点可以和大家分享。
“老技术”的新突破
简单来说TOF就是Time of Flight(飞行时间)的缩写,它是一项深度摄像技术。其工作原理是发射器发出经调制的近红外光,遇到人或物体后反射,传感器在接收到红外光信息后,计算红外光线发射和反射的时间差,从而形成立体视觉。
其实它并不是什么新的“黑科技”,前不久发布的小米8,甚至前年上市的iPhone 7,包括微软Kinect二代等等设备,都搭载了该技术。不过,以前的TOF仅用作距离感应器,是单点的(仅指手机端)。
那么,vivo的突破在哪儿呢?
在2D信息时代,由于缺乏更多的深度信息读取,智能手机在应用场景以及安全性等方面,很难取得进一步的突破。随着3D技术的日臻成熟以及终端运算能力的大幅提升,3D成像技术结合AI,将对影像、人机交互、AR等领域,带来革命性的提升。
目前行业内,3D视觉领域主流的解决方案就是结构光和TOF技术,前者的代表是大家非常熟悉的iPhone X,存在有效深度信息少、baseline(基线)大、工作距离短、量产难度大等挑战。
为了探索新的人机交互方式以及智能终端更多的应用场景,vivo最终选择采用TOF 3D超感应技术,它具备有效深度信息多、工作距离远、结构布局灵活、应用场景丰富等优势,可以满足用户对于立体视觉体验的更多期待。
到了2017年3月,vivo看到了主流的结构光和TOF技术都有机会做出好的应用,所以持续对这两个技术做了研究和追踪,直到12月最终确定做TOF技术方向。
TOF的四大特性
相对于市面上已经存在的TOF及结构光技术,vivo TOF 3D超感应技术的强大主要体现在4个方面:
1.目前行业最多的有效深度信息点
TOF 3D超感应技术的有效深度信息点多达30万,是结构光技术的10倍,细节更精确,图像品质更好。当用户进行解锁、支付等涉及安全的操作时,更精细的深度成像,极大提升了人脸识别的安全性,做到了更高级别的保护。
除了生物识别之外,还能带来很多功能上的全新体验。比如用户在拍照时,精细的深度信息可以为AI美颜提供更立体的数据模型,使得打光、虚化、着色等局部调整更加精准,让拍照美得恰到好处。
2. 工作距离长
TOF 3D超感应技术的工作距离可达3米,是结构光技术的3倍,使应用场景进一步被拓展。例如通过TOF 3D超感应技术进行3D拍照,机主就可以通过手机轻松建立人体模型、线上试穿,快速、方便地淘到心仪好货,避免被“卖家秀”套路。
3. 行业顶级硬件和算法
TOF 3D超感應技术搭载了行业顶级CCD Sensor和低功耗高性能的定制化AFE芯片,在运行中结合AI辅以深度图像优化算法和高性能3D建模算法,为出色的3D精细成像效果提供了保证。
我现场体验了TOF 3D超感应技术的建模速度,大概流程和录入2D人脸数据差不多,只是多了分别向左和向右转头90°的操作,整体时长30秒左右,即可建立一个几乎与本人一模一样的3D模型。
并且这个模型支持各种“PS”操作,还可以输出到电脑等其他计算设备,甚至通过3D打印机打印出来,是不是瞬间想到了很多玩法与商机?
4. 结构布局更加灵活
vivo TOF摄像头的体积相比结构光的组件更加小巧,在产品ID设计时,机身无需为立体视觉的实现,付出更宽的“刘海”及更大的机身内部空间,实现了功能增强与外观设计的兼顾。
我们在现场体验的是具备TOF 3D超感应技术的工程机,TOF摄像头模组看上去并不算小,不过它还是基于X20的模具来做的,因为那时vivo就开始了该技术的研究,量产时应该会控制到一个更合理的体积。
并且,刘旭东告诉我们,vivo正在积极研究TOF 3D超感应技术如何与零界全面屏共存,这是一个重点努力的方向,如果成型,无疑又为极致的全面屏形态,扫清了一大障碍。
多领域的探索
说了这么多,TOF 3D超感应技术究竟能为vivo手机带来哪些改变?
从理论上来说,人眼的立体视觉是人类感受世界的最佳体验,TOF 3D超感应技术就是为了让手机可以像人眼一样感受立体世界。尤其是它与AI结合,我们就能延展出更多想象空间,令虚拟与现实更好地融合,让立体视觉服务生活的方方面面。
举一个最近比较火的例子——MR(Mixed Reality)混合现实体感游戏,这就是TOF 3D超感应技术重点推进的应用领域。类似电影《头号玩家》中的虚实结合效果,利用手机将万物建模,再将模型与其他虚拟或现实场景融合,玩家在这样的“新世界”中,就可以兼顾沉浸式视觉体验与体感操作的乐趣。
关于这个部分,vivo也进行了相关演示,TOF 3D超感应技术工程机与现场大屏进行连接,系统扫描并建立用户模型后,虚拟形象便立即生成到酷跑和滑雪游戏中,整个过程与体验几乎与Xbox+Kinect相当,但所用到的设备却只有一台手机。
这让我联想到最近一个风靡抖音圈的切方块体感互动小游戏,很显然,大家对于体感游戏浓厚的兴趣,给vivo带来了一些启迪。vivo也表示,接下来将和游戏厂商一起,借助TOF 3D超感应技术提供强大的立体视觉,推出创意十足的游戏。
当然,类似应用还会出现在更加专业的领域,例如教育、医疗以及办公。很快,我们开会时不仅能听到对方的声音,还能看到影像,并真切地感受到TA就在你的身边。比如上名师英语课时,现在可能需要很长的路程周折,但通过vivo TOF 3D超感应技术,只需要打开手机,老师就好像真的坐在你对面。
量产机预计秋天发布
发布会上vivo表示,已经正式开启了“3D视觉开发者计划”,将实现从底层TOF器件和深度信息接口至上层功能应用的全渠道覆盖,其间将邀请行业开发者、服务供应商以及用户一起探索,并不断提升3D视觉的性能表现及体验。
现阶段,vivo率先与微信进行深度技术合作,采用TOF 3D超感应技术方案并经过前期的工程调试和算法调优,已经可以成功支持微信人脸识别支付。这使得vivo不仅成为了国内率先支持微信指纹支付、首家支持微信屏幕指纹支付的手机厂商,也是国内首家支持微信人脸支付的品牌。
vivo软件技术专家臧亚奎会后接受我们采访时也表示,vivo TOF 3D 超感应技术已经达到了可量产的状态,用户将很快可以享受到搭载该技术的手机带来的全新体验。
可以预见,这次TOF 3D超感应技术的发布,结合AI,对vivo乃至整个行业,将是又一次从智能终端向智慧终端的升级,也是科技赋能生活的又一次突破。我们也非常期待该技术搭载到很快到来的vivo量产机后的表现,会是什么时候?也许就在秋天。
“老技术”的新突破
简单来说TOF就是Time of Flight(飞行时间)的缩写,它是一项深度摄像技术。其工作原理是发射器发出经调制的近红外光,遇到人或物体后反射,传感器在接收到红外光信息后,计算红外光线发射和反射的时间差,从而形成立体视觉。
其实它并不是什么新的“黑科技”,前不久发布的小米8,甚至前年上市的iPhone 7,包括微软Kinect二代等等设备,都搭载了该技术。不过,以前的TOF仅用作距离感应器,是单点的(仅指手机端)。
那么,vivo的突破在哪儿呢?
在2D信息时代,由于缺乏更多的深度信息读取,智能手机在应用场景以及安全性等方面,很难取得进一步的突破。随着3D技术的日臻成熟以及终端运算能力的大幅提升,3D成像技术结合AI,将对影像、人机交互、AR等领域,带来革命性的提升。
目前行业内,3D视觉领域主流的解决方案就是结构光和TOF技术,前者的代表是大家非常熟悉的iPhone X,存在有效深度信息少、baseline(基线)大、工作距离短、量产难度大等挑战。
为了探索新的人机交互方式以及智能终端更多的应用场景,vivo最终选择采用TOF 3D超感应技术,它具备有效深度信息多、工作距离远、结构布局灵活、应用场景丰富等优势,可以满足用户对于立体视觉体验的更多期待。
到了2017年3月,vivo看到了主流的结构光和TOF技术都有机会做出好的应用,所以持续对这两个技术做了研究和追踪,直到12月最终确定做TOF技术方向。
TOF的四大特性
相对于市面上已经存在的TOF及结构光技术,vivo TOF 3D超感应技术的强大主要体现在4个方面:
1.目前行业最多的有效深度信息点
TOF 3D超感应技术的有效深度信息点多达30万,是结构光技术的10倍,细节更精确,图像品质更好。当用户进行解锁、支付等涉及安全的操作时,更精细的深度成像,极大提升了人脸识别的安全性,做到了更高级别的保护。
除了生物识别之外,还能带来很多功能上的全新体验。比如用户在拍照时,精细的深度信息可以为AI美颜提供更立体的数据模型,使得打光、虚化、着色等局部调整更加精准,让拍照美得恰到好处。
2. 工作距离长
TOF 3D超感应技术的工作距离可达3米,是结构光技术的3倍,使应用场景进一步被拓展。例如通过TOF 3D超感应技术进行3D拍照,机主就可以通过手机轻松建立人体模型、线上试穿,快速、方便地淘到心仪好货,避免被“卖家秀”套路。
3. 行业顶级硬件和算法
TOF 3D超感應技术搭载了行业顶级CCD Sensor和低功耗高性能的定制化AFE芯片,在运行中结合AI辅以深度图像优化算法和高性能3D建模算法,为出色的3D精细成像效果提供了保证。
我现场体验了TOF 3D超感应技术的建模速度,大概流程和录入2D人脸数据差不多,只是多了分别向左和向右转头90°的操作,整体时长30秒左右,即可建立一个几乎与本人一模一样的3D模型。
并且这个模型支持各种“PS”操作,还可以输出到电脑等其他计算设备,甚至通过3D打印机打印出来,是不是瞬间想到了很多玩法与商机?
4. 结构布局更加灵活
vivo TOF摄像头的体积相比结构光的组件更加小巧,在产品ID设计时,机身无需为立体视觉的实现,付出更宽的“刘海”及更大的机身内部空间,实现了功能增强与外观设计的兼顾。
我们在现场体验的是具备TOF 3D超感应技术的工程机,TOF摄像头模组看上去并不算小,不过它还是基于X20的模具来做的,因为那时vivo就开始了该技术的研究,量产时应该会控制到一个更合理的体积。
并且,刘旭东告诉我们,vivo正在积极研究TOF 3D超感应技术如何与零界全面屏共存,这是一个重点努力的方向,如果成型,无疑又为极致的全面屏形态,扫清了一大障碍。
多领域的探索
说了这么多,TOF 3D超感应技术究竟能为vivo手机带来哪些改变?
从理论上来说,人眼的立体视觉是人类感受世界的最佳体验,TOF 3D超感应技术就是为了让手机可以像人眼一样感受立体世界。尤其是它与AI结合,我们就能延展出更多想象空间,令虚拟与现实更好地融合,让立体视觉服务生活的方方面面。
举一个最近比较火的例子——MR(Mixed Reality)混合现实体感游戏,这就是TOF 3D超感应技术重点推进的应用领域。类似电影《头号玩家》中的虚实结合效果,利用手机将万物建模,再将模型与其他虚拟或现实场景融合,玩家在这样的“新世界”中,就可以兼顾沉浸式视觉体验与体感操作的乐趣。
关于这个部分,vivo也进行了相关演示,TOF 3D超感应技术工程机与现场大屏进行连接,系统扫描并建立用户模型后,虚拟形象便立即生成到酷跑和滑雪游戏中,整个过程与体验几乎与Xbox+Kinect相当,但所用到的设备却只有一台手机。
这让我联想到最近一个风靡抖音圈的切方块体感互动小游戏,很显然,大家对于体感游戏浓厚的兴趣,给vivo带来了一些启迪。vivo也表示,接下来将和游戏厂商一起,借助TOF 3D超感应技术提供强大的立体视觉,推出创意十足的游戏。
当然,类似应用还会出现在更加专业的领域,例如教育、医疗以及办公。很快,我们开会时不仅能听到对方的声音,还能看到影像,并真切地感受到TA就在你的身边。比如上名师英语课时,现在可能需要很长的路程周折,但通过vivo TOF 3D超感应技术,只需要打开手机,老师就好像真的坐在你对面。
量产机预计秋天发布
发布会上vivo表示,已经正式开启了“3D视觉开发者计划”,将实现从底层TOF器件和深度信息接口至上层功能应用的全渠道覆盖,其间将邀请行业开发者、服务供应商以及用户一起探索,并不断提升3D视觉的性能表现及体验。
现阶段,vivo率先与微信进行深度技术合作,采用TOF 3D超感应技术方案并经过前期的工程调试和算法调优,已经可以成功支持微信人脸识别支付。这使得vivo不仅成为了国内率先支持微信指纹支付、首家支持微信屏幕指纹支付的手机厂商,也是国内首家支持微信人脸支付的品牌。
vivo软件技术专家臧亚奎会后接受我们采访时也表示,vivo TOF 3D 超感应技术已经达到了可量产的状态,用户将很快可以享受到搭载该技术的手机带来的全新体验。
可以预见,这次TOF 3D超感应技术的发布,结合AI,对vivo乃至整个行业,将是又一次从智能终端向智慧终端的升级,也是科技赋能生活的又一次突破。我们也非常期待该技术搭载到很快到来的vivo量产机后的表现,会是什么时候?也许就在秋天。