单目图像深度估计及其应用

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hz_0752
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单目图像深度估计是计算机视觉和模式识别领域的一个基础而关键的问题,其目的在于从二维图像中恢复出逐像素的深度信息,在自动驾驶、机器人、2D转3D和手机娱乐等领域有着广泛的应用。普通相机采集的图像实际上是真实世界的二维投影,缺失了场景的深度信息。虽然深度传感器可用于采集深度数据,但因其深度感知距离有限、深度分辨率低且稀疏等缺陷导致其应用存在一定的局限性。因此,从单目图像中估计出深度信息受到了学术界和工业界的广泛关注。由于单目图像深度估计的主要技术途径之一是通过有监督的学习方式实现,而深度传感器采集的深度数据存在大量离群点以及样本多样性不足的问题,严重影响了模型的准确性以及泛化性。为了有效解决上述问题,本文做出了以下贡献:针对深度数据集中的深度标签存在大量离群点的问题,提出了一个基于稳健回归的单目图像深度估计模型。通过在每次迭代优化时筛选出离群点并只计算有效点的损失,来消除大量离群点对于模型训练的不良影响。同时,设计了一个基于多尺度特征融合的编码–解码网络,用以输出结构化的深度预测结果。为了解决逐像素的度量指标无法准确衡量深度结构准确性的问题,本文还引入了一种客观的结构感知度量指标。含噪仿真数据和真实数据的实验结果验证了所提方法的有效性。针对深度数据多样性不足、稠密深度标签获取代价大的问题,提出了一种自动生成稠密深度标签的方法。它利用网络立体图像通过光流估计和语义分割等技术途径自动生成稠密的相对深度图。在此基础上,提出了一个由场景多样的彩色图和稠密相对深度图组成的新数据集。由于该数据集中深度的尺度和平移因子是未知的,本文提出一个基于点对的排序损失用以监督模型的训练。实验结果表明提出方法具备非限定场景下深度感知能力,其性能优于同期最好的方法。针对现有模型的预测结果普遍存在深度边缘模糊、深度结构一致性差的问题,提出了一种基于结构引导的排序损失函数。通过底层的边缘图和高层的对象实例掩模来引导点对的采样,以此更好地表征重要区域的结构。实验表明,结合结构引导采样的排序损失能显著提升深度图预测的质量。同时,为了提升模型的准确性和泛化性,在上述提出的稠密深度标注图生成方法的基础上,进一步优化了数据生成方法,通过精准的天空掩模获得准确的零视差区域和通过左右一致性检测提供深度标签置信度,从而构造了一个质量更高、数据量更大、样本更丰富的稠密深度数据集。在实验中,本文对六个基准数据集进行了跨数据集评估,结果表明所提的方法取得了同期最佳的定量和定性结果。最后,本文将单目图像深度估计技术应用到浅景深渲染,设计了一个基于显著目标检测和深度估计的浅景深渲染系统。浅景深渲染可分为对焦点的确定和基于深度的景深渲染两个步骤。为了自动地找到对焦点,提出了一种基于标签引导对比损失的显著目标检测方法。然后,针对目前基于深度分层的渲染方法在深度不连续处的颜色跳变和模糊不均的问题,提出了一种基于逐像素的光线发散到聚合的景深渲染算法。合成数据和真实数据的实验结果验证了所提方法的有效性。
其他文献
目的:分析2016—2017年中国农村0~5岁留守儿童的营养不足状况及特征。方法:数据来自中国居民营养与健康状况监测(2015—2017年),营养不足包括生长迟缓、低体重和消瘦,0~4岁儿童营养不足采用WHO 2006年生长发育标准判定,5~5.99岁儿童采用WHO 2007年生长发育参考值判断。结果:2016—2017年中国农村0~5岁留守儿童的生长迟缓率为6.4%,低体重率为2.3%,消瘦率为
期刊
目的:建立尺骨冠状突骨折合并肘关节后脱位的有限元模型,并对肘关节后脱位在关节稳定性方面的影响进行数字化研究。方法:建立正常肘关节-前臂(IEJF)有限元模型与尺骨冠状突骨折肘关节-前臂(FUCF)有限元模型。采用压缩、屈曲两组生理荷载(每组3种幅值),进行计算、验证和应力分析。结果:建立了结构完整的IEJF与FUCF有限元模型,并对模型进行验证,情况与临床实际符合。计算得出FUCF有限元模型较IE
期刊
在元宇宙实践与理论探索日渐兴起,新技术不断加持体育发展的现实背景下,需要从多学科视角解构元宇宙与体育发展的关系。为此,本刊邀约不同学科的8名专家聚焦“元宇宙与体育的未来”这一主题展开学术讨论。江苏省体育科学研究所程志理编审认为,从生活世界现实感的存在一旦进入运动场域,人们在游戏状态中获得了乐趣。身体在场的游戏是自在自为的,玩者在行,观者投入。人因游戏而始,文化因游戏而生,体育挣脱了社会建构的价值预
期刊
立足“大概念”,能有效地促进学生的“结构化学习”,实现学生“学一点、见一片”“习一题、悟一类”的能力。基于“大概念”能让知识结构化,应用“大概念”能让思维结构化,评价“大概念”能让素养结构化。结构化学习,不仅能让学生把握结构化知识,还能让学生形成结构化思维、结构化认知、结构化素养。结构化学习,顺应了数学知识的逻辑生长,也顺应了学生的生命成长。
期刊
“情指勤舆”一体化运行机制作为一种现代警务机制,其构建不仅需要理论的引领,也需要软件条件与硬件条件的支撑。“情指勤舆”一体化运行机制之构建面临着诸多困境,有思想观念方面的,也有软件条件与硬件条件方面的。“情指勤舆”一体化运行机制的构建是一项系统工程,必须从我国的警务工作实际出发,立足我国公安中心工作,服务公安工作大局,以大数据为引领,以现代科技为支撑加以构建。
期刊
<正>减轻作业负担不只是减作业量和时间量,更要回到课堂。那么,我们就要思考,双减背景下的课堂需要减什么?有这样一个课堂小插曲——商店售出的两件上衣都卖了60元,一件赚了20%,另一件亏了1/5。商店在卖出这两件上衣时()。A.赚了B.亏了C.不赚也不亏D.无法确定这道题的正确率只有29.2%。讲评时,一名学习成绩“优秀”的学生上来给全班示范正确的解题思路:
期刊
聚酰亚胺(PI)在工程高分子材料领域广受关注,开发新型耐高温、疏水性良好的聚酰亚胺薄膜材料是推动高性能高分子材料在电动汽车等高新技术领域工程化应用的重要突破口。以间苯二胺与4,4’-(4,4’-异丙基二苯氧基)二酞酸酐为原料,采用原位掺杂热亚胺化合成聚酰亚胺薄膜,通过添加纳米ZrO2粉体对聚酰亚胺薄膜进行改性,制得不同ZrO2添加量〔0.2%~0.8%,以N,N-二甲基甲酰胺(DMF)、间苯二胺(
期刊
双足机器人是机器人领域重要的研究方向之一。近年来,随着对机器人柔顺性和运动能力的日益重视,串联弹性驱动器(Series Elastic Actuator,SEA)因其低输出阻抗、冲击吸收和能量储存的优势,被视为实现双足机器人柔顺步行的理想驱动器之一。然而,现有结合SEA的运动控制理论及方法尚待进一步发展完善:在驱动层面,SEA的柔顺控制存在跟踪精度低、响应延迟大的问题,且针对液压SEA控制的研究还
学位
报纸
报纸