基于卷积神经网络的深度图修复和单目深度估计研究

来源 :北京工业大学 | 被引量 : 2次 | 上传用户:he_shang_cun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度估计是计算机视觉领域的重要方向之一,它使计算机可以通过二维图像估计出场景的深度信息。同时,卷积神经网络具有强大的图像特征提取和函数拟合能力,将卷积神经网络应用于场景的深度估计问题取得了良好的效果。可是目前基于卷积神经网络的深度估计方法仍存在一些问题。一方面,基于卷积神经网络的深度估计问题都是数据驱动模型,即使能获取到充足的深度数据,大部分数据也不能直接使用,例如Kinect拍摄的深度图由于硬件条件限制,在原始深度图上会存在很多深度无效的空洞。另一方面,虽然把深度神经网络应用于深度估计问题取得了相当不错的效果,但是其中的一些原理却没有被解释清楚。心理学的研究证明,存在一些单目深度线索,例如视差,阴影,透视,物体表面法线方向等,这些深度视觉线索是人进行单目深度估计的依据。针对上述问题,本为围绕基于卷积神经网络的单目深度估计做了一系列研究。本文具体研究内容如下:第一,针对Kinect拍摄到的原始深度图中存在空洞的问题,本文提出了一种基于卷积神经网络的Kinect深度图空洞修复方法,该方法先使用直接屏蔽掉深度空洞区域的深度图作为监督信息训练一个单目深度估计模型,然后用此模型的深度估计结果对原有的深度图中的空洞进行填充修复,然后再结合滤波算法使深度图修复效果更加自然。第二,为了提高卷积神经网络估计深度信息的能力,本文将表面法线方向这一视觉线索引入到单目深度估计网络中去。本文在单目深度估计模型的基础上进行改进,提出了一个使用单张RGB图片估计场景表面法线方向的网络。然后设计了一种从粗糙到精细的级联的深度估计网络,从中显式引入了表面法线方向这一线索。通过与前人的比较发现:本文的Kinect深度图修复方法在修复大面积的深度图空洞的时候优势明显,而且这个方法针对大面积空洞,用“深度”补“深度”的解决思路决定了修复精度主要取决于深度估计模型本身的精度,这里如果换用其它效果更好的深度估计模型会达到更好的效果。本文提出的引入表面法线信息的级联的深度估计网络结构在预测精度上也有不错的表现。
其他文献
目前,汽油发动机的发展主要面临动力性能、经济性能和排放性能三个方面的挑战。在传统的四冲程汽油发动机中,火花塞点火能量对气缸内的油气点燃速度、火焰传播速度和发动机效
在自然界中,一种介体昆虫通常能传播一种或者几种植物病毒。不同的介体昆虫传播病毒效率是不同的,其获毒和传毒水平的差异体现了介体昆虫与病毒之间的亲和性。影响或决定该亲
二苯并氧杂卓或氮杂卓类化合物是很多天然化合物和合成药物的重要结构单元。不同二苯并氧杂卓或氮杂卓类化合物经过药物活性筛选,抗炎,杀菌,止痛,抗癌等生物活性表现出高效的生物活性。本文研究的主要目的是合成一系列新型二苯并[b,d]氧杂卓-7(6H)-酮类化合物,评价其潜在的生物活性,探讨其构效关系。本文对二苯并[b,d]氧杂卓-7(6H)-酮类化合物的全合成进行了深入研究,以苯酚类化合物为起始原料,经过
分子印迹聚合物(Molecular Imprinted Polymer,MIP)是一类模板分子与功能单体在组装形成对指定目标分子或者结构类似物具有特异性识别的聚合物,固相微萃取(Solid Phase Microextraction,SPME)技术是基于纤维载体涂覆固定相集采样、萃取、浓缩、进样于一体的样品前处理技术,被广泛应用于环境分析化学领域。概括了目前氯酚类环境污染物的研究进展,介绍了氯酚类
稻瘟病菌是引起水稻稻瘟病的病原菌,是研究寄主植物与病原丝状真菌互作机制的重要模式生物。在酿酒酵母中,Gyp1是高尔基体相关蛋白,是重要的Rab GTP酶激活蛋白家族成员之一,
研究目的:通过临床随机对照试验,观察不同波型电针针刺八髎穴治疗腰椎间盘突出症的临床疗效,从而优化临床治疗腰椎间盘突出症电针波型的的使用。研究方法:将符合纳入标准的108例腰椎间盘突出症患者,随机分成疏密波、断续波和连续波三组,每组36例。三组均选用八髎穴为主穴,各组分别采用相应波型电针进行治疗,1次/日,20分钟/次,共10日。通过观察三组患者治疗前后的VAS疼痛评分、JOA评分,并根据JOA评分
熔渣精炼是冶金行业中最主要且有效的精炼方法之一。已广泛应用于钢铁、有色金属及多种合金精炼中。例如高纯钢精炼过程中的脱氮,杂质的去除都是在熔渣精炼的基础上进行的。熔渣精炼对于硅中B元素的去除有着显著效果。通过课题组前期研究可以确定熔渣的物化性质以及结构对熔渣的精炼效果有重要的影响。因此熔渣结构以及熔渣性质的研究对于解决B的去除,推进冶金法的发展以及推进光能产业的发展有重要的意义。CaO-SiO_2熔
塔吊是建筑施工中的主要设备之一。地铁盖面开发过程中,材料水平、垂直运输存在的难点,迫切需要开发一种非落地式塔吊基础,而塔吊基础在塔吊的安全运行中起着重要的作用,如果塔吊基础的设计、施工不符合相关规范、标准要求,将会导致塔吊倾斜、甚至倾覆的恶性事故的发生。本文以兰州地铁运用库上盖开发工程为背景,针对盖面开发过程中难以实现在地面上建设塔吊基础的问题,利用既有车辆段运用库主体结构的钢筋混凝土框架柱和框架
为夯实党在城市基层的执政基础,武汉第十三次党代会提出实施“红色引擎工程”,其中开展“红色物业”计划是推进“红色引擎工程”的先手棋和突破口。通过开展“红色物业”计划,将党的建设与社区物业管理工作相结合,这是武汉对基层党建引领社区治理的创新性探索。作为城市社区党建在新时代呈现出的一种新的表现形式和发展路径,“红色物业”也在一定程度上代表了城市社区党建和社区治理相结合的一种新的发展方向。本文以“红色物业
学位
随着汽车工业中能源和环保问题的日益严峻,国家对于排放、安全等法规不断出台,同时人们对汽车舒适性、经济性与排放性要求的提高,使得发动机电控系统的需求更加多样化、复杂