ToF深度相机成像优化算法研究

来源 :浙江大学 | 被引量 : 1次 | 上传用户:lpc123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
场景深度的获取是众多3D交互应用的前导性关键技术,如虚拟现实等;并且现如今场景深度信息也越来越多地作为一种新的模态参与进现有视觉、图像相关研究中,如图像分割、姿态识别等。在包括立体匹配、结构光等的众多深度获取方案中,To F(Timeof-Flight)相机,尤其是Indirect-To F相机由于其结构轻量、解算简便,成为了目前最有前景的深度相机之一。然而To F相机的深度成像的质量仍有较大优化空间,一方面To F相机的深度图会被多种误差影响,如成像噪声、多径误差、低信噪比等,这些误差会严重损害To F相机深度测量的准确度;另一方面,To F相机深度图分辨率仍然远低于绝大多数彩色相机,导致深度图无法与高分辨率彩色图对齐,限制了其应用场景。本文针对To F相机的以上两点主要问题,使用基于深度卷积神经网络(Convolutional Neural Networks,CNN)的方法来对To F相机进行成像优化,其具体内容主要包括以下几点。1)开发大规模模拟To F数据集。本文对学术界公开可用的深度数据集进行了充分调研,之后使用基于计算机图形学技术制作了一个大规模的模拟To F数据集,其中包含了具有充分误差模拟的To F原始测量,高分辨率下稠密准确的深度真值,以及对应的RGB图像。2)研究To F深度图的误差修复。本文分析了To F误差修复应包含的原理,指出了过去To F误差修复方法中存在的问题。接着在遵循上述原理并避免上述问题的前提下,本文提出了一个级联迭代的卷积神经网络对深度图中存在的误差以残差预测的方式进行逐级修复。实验中,方法可以表现出对各种不同误差的良好修复性能,并在本文提出的数据集以及多个不同的其它开放数据集上都取得了State-of-the-art的准确度。3)研究RGB指导的To F深度图的超分辨率。本文分析了RGB图像与深度图之间模态的差异,提出了利用模态间一致性和不一致性的两种主要融合思路。之后沿着以上两种思路,本文分别在网络结构中设计了前期融合、后期融合SR模块以及跨模态空域注意力融合模块,并在损失函数中应用了二阶梯度平滑一致性损失。本文使用消融实验证明了以上融合方式的有效性,并在准确度上达到了State-of-the-art的水平。4)研究To F成像优化算法在低功耗嵌入式设备上的加速与部署。本文通过网络结构优化设计以及通用网络加速两类方案,在准确度损失尽可能小的前提下,显著降低了方法的时间复杂度。实验中,以上两个算法被部署在了嵌入式开发板上,逐步实验表明了加速方案可以大幅提升算法运行速度,同时保持良好的准确度。
其他文献
深度图补全(Depth Completion)指从一张稀疏深度图与相应的彩色图像中恢复出致密彩色图像的任务。随着低成本激光雷达在无人驾驶领域的广泛应用,从稀疏的激光雷达点云中恢复出致密的环境深度信息正引起越来越多研究者的关注。而大型深度图数据集的发布使得基于深度学习的方案大放光彩。因此,深度图补全网络模型的结构设计是当前此问题的关键所在。为更彻底的融合此两种模态数据,本文基于“从彩色图像和稀疏深度
学位
农田水利工程是我国农业发展的命脉。为全面优化农田水利设施,提升农田灌溉效率,促进农业可持续发展,以甘肃省定西市安定区农田水利工程建设为例,介绍了当地农田灌溉现状,分析了农田水利灌溉中存在的配套设施不完善、缺乏完善的技术服务体系、管护经费不足、农田灌溉方式相对落后、农民参与度较低等问题,并提出了完善农田水利工程配套设施、优化农田水利技术服务体系、加大资金投入力度、引入先进的农田灌溉方式及提高农民参与
期刊
在新课程标准下,教育界对教学素养的正确性和科学性给予了更多的关注。在新形势下,教师要重视转变教育方法,传统的教学方法无法满足新时代的要求,在课堂上要充分尊重学生的主体性,制定课程方案要兼顾到学生的知识。因此,本文从初中数学教育的角度出发,探讨了初中数学教学中的几个问题,并结合初中数学教育的实际情况,提出了新课程标准下学生的数学素养教育的对策。
会议
报纸
现代集成电路设计高度依赖于电路仿真模型,设计时使用的模型越精确,最终电路实现的成功率也越高。MOSFET是现代集成电路中最常见的器件,对它的建模通常采用BSIM模型,其中含有大量的电容参数,这些参数的确定依赖于高度精确的测试方法。随着集成电路工艺追逐摩尔定律发展,器件特征尺寸逐渐减小,电路中的寄生电容分布越来越复杂,各代工厂使用传统方法提取寄生电容所带来的面积成本和测量精度之间的矛盾日益突出。本文
学位
随着物联网在经济社会各领域的广泛应用,物联网设备的数量呈现了爆发式增长。然而,目前的物联网只是覆盖了城市和部分乡村地区,广大的山地、森林、海洋和沙漠地区并没有有效的无线覆盖,但这些地区对物联网的需求日益增长。在这种情况下,低轨卫星物联网得到了广泛关注和大力发展。低轨卫星物联网大都采用多波束技术提高接入能力和覆盖范围,但由于波束半径大,极易造成波束间干扰。为了解决这一难题,本文致力于研究低轨卫星物联
学位
党的十九大报告中提出乡村振兴战略,指出农业农村现代化是实行乡村振兴战略的总目标。改革开放以来,在宏观经济平稳运行背景下,我国农业经济得到了迅猛发展,但在人才需求、信息化水平、产业转型和农产品品牌建设上,与世界现代农业还有很大的差距。新时代,补齐“三农”短板、加快农业农村现代化、促进农村产业转型发展,着力解决城乡发展不均衡的结构性问题更加突出。要解决这些发展问题,就必须更加扎实有序做好乡村发展建设,
期刊
水下目标定位跟踪一直是水声信号处理领域的研究热点之一。随着自主水下航行器(Autonomous Underwater Vehicle,AUV)的发展,基于水下移动传感器网络的目标定位跟踪越来越受到重视。其通过多个平台的分布式接收,可获得关于目标更完整与可靠的信息,对目标定位跟踪具有重要意义。AUV常搭载线阵对目标进行观测,而利用线阵波束形成估计目标方位时存在左右模糊的问题。此外水下声传播环境复杂,
学位
本文通过构建本土化“SEC”一致性分析模式,对甘肃省中考试卷与课程标准进行一致性分析,发现二者只是达到一定程度的一致性.基于此,建议适当调整内容主题分布,构建基于课程标准的学业水平考试体系,重视一致性分析导向下的教学实践.
期刊
阐明生态系统服务协同与权衡关系对于实现经济发展与生态可持续的双赢具有重要意义。前人的研究较少关注生态系统内部子系统间的动态协调关系,因此本文在运用InVEST模型估算2000—2020年长江中游城市群6种生态系统服务的基础上,通过主成分分析法选出3个作用力构建力学平衡模型,根据合力的大小和偏离程度来评判研究区生态系统服务时空演变及协同与权衡关系特征。结果表明:(1)研究期间6种生态系统服务时空分异
期刊