基于单一深度图像信息的孔洞填充方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:wwwzhaozhiqiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着信息时代潮流的推进,深度图像在物体检测、行为识别和场景建模等方面的应用越来越多。由于3D成像系统本身缺陷和外界干扰,采集的深度图像中往往带有孔洞,孔洞是限制深度图像实际应用的主要因素之一。目前大多数深度图像孔洞填充采用基于彩色图像引导的修复方法,复杂的采集设备和彩色图像与深度图像间的对齐精度一定程度上限制此类方法的应用。基于此背景,本文专注于基于单一深度图像信息的孔洞填充方法研究。论文取得了以下研究成果:(1)在研究现有深度图像修复方法的基础上,结合稀疏表示理论提出了基于单一深度图像信息的孔洞填充方法。首先选取优先级最高的受损图像块作为待修复图像区域,然后创建相似图像块组作为修复字典,经正交匹配追踪算法求解受损图像块的稀疏表示向量,通过字典原子的线性表示实现受损图像块的重建。实验验证了该算法可以有效实现深度图像的中小尺寸孔洞的填充修复。(2)为解决基于稀疏表示的孔洞填充方法对受损严重深度图像填充能力有限的问题,提出基于U-Net的单一深度图像信息孔洞填充方法。U-Net从单一深度图像学习特征并推理出孔洞内的深度信息,将网络输出图像孔洞部分与原图组合得到最终修复结果。实验结果表明该方法在仅学习单一深度图像特征的情况下,得到的孔洞填充结果与多种结合彩色图像信息的孔洞填充方法的最优结果相近。(3)为降低孔洞内部无效信息对CNN特征提取的影响,提出了基于门控卷积U-Net的单一深度图像信息孔洞填充方法。门控卷积U-Net从单一深度图像学习特征并有效地滤除孔洞内部无效特征,更多地关注孔洞外的有效特征,以实现更准确的特征学习和更精确的孔洞填充。实验结果表明该方法可以有效降低无效特征的影响,获得了优于传统卷积U-Net的孔洞填充性能。(4)为进一步提高深度学习方法的孔洞填充效果,提出了一种结合深度图像边缘结构信息的单一深度图像信息孔洞填充方法。设计了两阶段网络模型,分阶段地完成边缘结构推理和深度图像孔洞填充,以进一步提高深度图像孔洞的修复效果。从定性分析角度可以看出边缘结构信息提升了孔洞填充效果,但训练数据集规模的限制以及不精确的边缘推理结果一定程度上影响了其中部分深度图像的修复结果。本文致力于解决面向单一深度图像信息的孔洞填充问题,从稀疏表示、深度学习两方面研究了深度图像孔洞填充方法设计,经测试本文算法有效提升了深度图像孔洞填质量,将在进一步研究的基础上提升实际应用价值。
其他文献
疲劳识别技术可应用于疲劳驾驶预警、空中交通管制员疲劳监测、重型器械操作员疲劳提醒等领域,以规避疲劳作业潜在的巨大安全隐患。针对现有疲劳识别方法欠缺考虑疲劳个体差异性及依赖于实验室数据的不足,本文研究了真实场景下基于自适应阈值眨眼检测及Xgboost的疲劳状态识别问题。有效的特征提取技术是实现可靠、有效的疲劳状态识别的前提。作为提取眼部疲劳特征的关键技术,现有眨眼检测方法存在较少考虑眨眼个体差异性导
车辆重识别技术也被称为车辆跨镜头追踪技术,其主要目的是从不同摄像头拍摄到的大量道路监控视频中检索属于特定车辆的全部图像。该技术需直接从车辆的视觉外观中提取到有判别性的特征,但是跨摄像头进行图像匹配时车辆图像往往来自于不同的视角,而在不同的视角下车辆的外观变化很大,因此跨视角匹配已经成为车辆重识别任务中一个重要的挑战:一方面,多个不同视角下同一车辆外观差异性大,导致车辆有着显著的类内差异;另一方面,
智能制造在信息系统的性能需求和功能需求方面对目前的制造业提出了崭新的或者更高级别的要求,通过对影响信息系统重要性能—鲁棒性的因素进行分析,根据智能制造信息系统的信息层和物理层之间的深度协作建立智能制造信息系统网络模型,描述智能制造信息系统级联失效过程,从网络可用性角度基于蚁群算法进行仿真实验,提高系统未发生故障的点在级联失效情况下寻找最短路径的能力,从而改善系统鲁棒性。本文主要从以下三方面进行创新
付费会员的经济模式近年在国内各个利于飞速发展,通过付费成为会员可以享受更优惠的价格和更高平直的服务,付费会员的经济模式正成为消费的新常态。付费会员的经济模式通过个人和企业奖励一种正式的、可持续的关系,企业为会员推出了更加优质的服务,会员增加该企业的消费总额和频率。互联网领域会员经济随着生态的竞争而迎来了爆发增长。一方面,全球互联网会员已形成规模,亚马逊的会员用户数在2018年超过1亿。另一方面,随
随着工业4.0概念的兴起,工业领域也正发生着智能化转型的热潮。在实际的工业场景中,借助于云计算和边缘计算技术可以提升工业物联网中生成数据的处理效率,但数据泄露造成的隐私问题也正在损害着人们的利益。针对该问题,众多学者利用基于密码学理论的数学加密方法进行了较多研究并取得了一定的研究成果。但本文方案不同于调研的数学加密等方法,而是从新的角度考虑该问题,利用区块链去中心化、防篡改以及可追溯的技术特性,通
为了增加机器人的适应场景和应用范围,轮腿式机器人应运而生,其中轮腿共同驱动式机器人控制简单,可靠性和地形适应能力一般,轮腿独立驱动式机器人可靠性和地形适应能力强,控制复杂。本文利用单环闭链机构可靠性强,控制方便的特点,将两种单环闭链机构相结合,提出具有两种运动形式的单环闭链变胞机构,根据闭链腿式机器人的布置原则构建可变形轮腿共同驱动式机器人,进行了理论分析、仿真和样机试验研究。首先,将Chebys
基于静息态功能磁共振成像(Resting-state functional Magnetic Imaging,rs-f MRI)的脑指纹是指rs-f MRI信号中存在着独一无二的特征,可以用来表明个体的独特性,然而与脑指纹识别最相关的特征至今仍没有统一的定义标准。人类连接组项目的发布以及机器学习、深度学习的发展,为脑指纹的探索奠定了技术基础。基于rs-fMRI的脑指纹识别,大多采用全部的静态功能连
在OA系统运维过程中,某公司信息部门经常接到用户各式各样的需求。所有用户都想快速、完全实现自己的需求。由于时间、资金、人员数量等资源有限,考虑到诸多方面的要求,如何正确处理交付需求的先后顺序,就显得极为重要,这就是需求优先级。但是信息部门常常凭直观经验来判断需求优先级,有时会造成资源分配不合理、需求安排不科学,进而受到用户投诉,对年底的部门评比结果造成一定影响。为改善这种状况,就需要搭建一套判定需
目前,城市交通路口摄像头产生的海量交通数据可以应用于交通管理、智能安防等领域。因此,对特定车辆进行检索,即车辆重识别(Vehicle Re-ID)就变得十分重要。车辆重识别任务是指:在给定一张测试图像的前提下,找出跨摄像头拍摄的同一辆车的图像。2012年后,随着算力的大幅提升和海量数据的产出,深度学习方法在各个领域不断刷新着最佳性能的纪录,包括车辆重识别任务。尽管近年来车辆重识别的方法多样,但是少
在当前共享经济的时代下,共享汽车正作为一种绿色、经济、便捷的出行方式融入人们的生活。为了深入了解共享汽车整体运营特征,本文在现有研究基础上,选取共享汽车订单数据、兴趣点(POI)数据、天气数据作为研究数据基础,刻画共享汽车出行时空分布特征;通过构建POI密度指标负二项回归模型,着重分析兴趣点因素对共享汽车出行需求的影响关系,为运营商进行新站点的选取提供科学支撑;运用深度学习网络模型实现站点每日借还