基于深度学习的彩色图引导深度图超分辨率重建

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:y253119971
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机图形学和视觉领域中,场景深度图超分辨率重建十分重要而又充满挑战。利用深度相机拍摄采集的场景深度信息在诸如增强现实、体感游戏、三维重建、自动驾驶、机器人定位导航等均起到至关重要的作用,然而由于获取场景深度信息的深度传感器设备分辨率、感光器件质量等的局限性,拍摄采集得到的场景深度图像通常存在分辨率低、深度图模糊的缺陷。深度图像超分辨率技术能够将场景深度图像由低分辨率、低质量提升为高分辨率、高质量。为了有效提升场景深度图像质量,本文对基于深度学习的超分辨重建技术展开了研究。本文的研究内容和成果如下:(1)基于通道多尺度融合的场景深度图超分辨率重建算法。针对彩色图特征与深度图特征在融合时未能充分进行特征融合的问题,提出一种基于通道多尺度融合的场景深度图超分辨率网络CMSFN(Channel Multi-Scale Fusion Network),该网络通过对低分辨率深度图进行通道多尺度上采样并结合残差学习提升深度图分辨率。为了有效利用场景深度图的多尺度信息,CMSFN网络采用金字塔多尺度结构,该结构在金字塔每一层级上对网络中的特征图通道进行多尺度划分,使该网络能够获得不同大小的感受野并能够在不同尺度上捕捉特征信息;在金字塔每一层级上对场景彩色图与深度图采用密集连接进行融合,从而有利于彩色图和深度图的特征复用并确保其结构信息的充分融合。此外,CMSFN网络中加入全局残差和局部残差结构,可以使网络专注恢复场景深度图中的高频残差结构同时缓解梯度消失。实验结果表明,与现有的11种方法相比,CMSFN网络具有良好的深度图提升性能,能够有效恢复场景深度图的结构信息。(2)基于通道注意机制的场景深度图超分辨率重建算法。为了能够对高分辨率彩色图像进行丰富的特征提取,提出一种基于通道注意机制的双分支多尺度网络CA-DBMNet(Channel Attention based Double Branch Multiscale Network)以有效引导场景深度图的超分辨率增强与重建。该网络分为两个分支---彩色图特征提取分支和深度图超分辨率分支。彩色图特征提取分支采用特征金字塔结构提取场景的彩色图特征,从而使该网络能够在不同尺度上捕捉彩色图特征信息,并能有效获取彩色图中不同尺度的结构信息。深度图超分辨率分支则由3个模块组成:分支融合模块,其将彩色图特征提取分支和深度图超分辨率分支采用密集连接和残差学习结构进行特征融合;通道多尺度模块,其对深度特征图进行多尺度特征提取;通道注意模块,其能有效增强深度特征图中高频分量的通道比重。在基准数据集上的大量实验表明,CA-DBMNet方法能够有效地将低分辨率深度图像恢复成高分辨率图像,重建得到深度图像结构完整、边缘清晰。
其他文献
卷积神经网络技术在计算机视觉领域中发挥着越来越重要的作用。基于卷积神经网络的人体行为分析与识别算法主要通过目标检测技术、人体骨骼关键点检测技术和人体行为分类网络技术对视频和图像中的人体目标进行定位、行为分析与行为识别。本文研究内容由浙江省重点研发计划项目——基于“智能亚运”等重大活动公共安全需求的关键技术、装备研究及应用示范项目课题支持。由于监控摄像头和人体目标之间存在一定距离和角度,导致监控图像
学位
在计算机视觉中,图像分割(为图像中每一个像素进行类别标记的技术)是后续其他研究的基础,所以图像分割效果的好坏会对后续的研究产生影响。基于深度学习的图像语义分割算法面临的主要问题包括:分割场景的复杂性、分割对象的多样性、分割对象空间位置的随机性以及分割模型的精度与计算效率相互制约的矛盾等,本文针对这些问题开展基于深度学习编解码结构的图像语义分割算法研究。本文主要研究工作和贡献如下:(1)对特征提取编
学位
随着永磁材料性能的不断发展,永磁同步直线电机(PMLSM)以其低损耗、高精度和高效率等优点被广泛应用于精密数控机床等直线进给系统。由于直驱系统中免除了传动环节,外界干扰和参数变化直接作用于电机动子,增加了系统的不确定性。因此,在不确定性扰动条件下研究快响应、高精度的控制策略十分重要。自抗扰控制(ADRC)的设计过程不依赖于被控对象的精确模型,具有强鲁棒性,在电机控制领域得到了广泛应用。但ADRC中
学位
关键词广告中商标隐性使用行为成为经营者在互联网时代备受青睐的一种新型网络营销手段。经营者通过购买搜索引擎服务商提供的竞价排名付费搜索服务,仅将他人商标设置为搜索关键词,使得消费者在搜索这一商标关键词时,经营者自己的网页链接能够与商标权人的网页链接共同出现在搜索结果页面中,从而获得流量和注意力,增加交易机会。在行为的定性上,该行为究竟是构成商标侵权还是不正当竞争抑或是合法行为,学界一直是争执不断。同
学位
截至2020年,我国蔬菜种植面积高达2130万公顷,年产量7.5亿吨,蔬菜已成为我国第一大农产品;而且我国的蔬菜种植种类繁多,有200余种,不同蔬菜对移栽株距要求不尽相同,甚至同种蔬菜在不同时节、不同地区的移栽株距也不同。为改善植苗机构对不同移栽株距的适应性问题,本文提出了一种变差速轮系式植苗机构,进行了相关理论的研究,优化软件和机构结构的设计,虚拟样机的仿真分析以及物理样机的加工装配与试验研究。
学位
我国是全球最大的蚕茧、生丝生产国和出口国。生丝是根据其规格要求,由自动缫丝机将多根茧丝集聚而成,其中丝鞘在缫丝的茧丝集聚过程中起到减少纇节、增加抱合的作用,但是丝鞘是现有自动缫丝机中仅有的几个需要人工来完成的操作,操作工的熟练程度影响到丝鞘结构参数,使得丝鞘的统一性较差,由此对茧丝集聚效果带来影响。由于是手工操作,影响了自动缫丝机的自动化程度,制约了缫丝劳动生产率的提高。本文针对现有缫丝生产中人工
学位
风能作为一种可再生的清洁能源,近年来得到各国大力地开发。随着风电技术的发展,风机容量增加的同时也使得其结构复杂性大幅增长,最终导致风力发电机组故障频发的问题。由于风力发电机组的运维费用昂贵,因此对风力发电机组进行故障诊断具有极高的研究价值。不同于解析模型方法,数据驱动的故障诊断方法不依赖于建立准确的物理模型,通过分析大量采集到的反映机械运行状态的数据即可出色地完成故障诊断任务。作为开启大数据时代的
学位
长期以来,塑料地膜的使用对环境造成严重污染,因此,以纤维素基材料制备可降解的地膜,成为了地膜发展的一种重要方向。本文以机械法对竹材进行微纳化处理制备机械竹浆,并添加适量针叶木化学浆及各种化学助剂,制备了可降解农用地膜纸,并对其应用性能进行了研究,所得结果如下:首先,对竹材进行微纳化处理制备了40°SR机械竹浆,并研究地膜纸的纤维配比。竹材经高压蒸煮预处理,磨浆,所得机械竹浆长度主要分布在200-2
学位
随着个性化、多元化、差异化消费观念的形成和市场竞争的加剧,服装行业的生产方式向小批量、多品种、短周期、高质量的模式转变,这对服装企业生产管理的信息化和数字化程度提出了更高的要求。目前服装产业对于目标款式的部件及工艺分析、工艺单的编制基本依赖于人工,无法快速分析与制作工艺单、适应行业新模式的转变。针对这个问题,本文运用模块化思想对服装生产工艺进行分析与拆解,基于深度学习技术对衬衫领部识别与工艺种类判
学位
黄瓜花叶病毒(Cucumber mosaic virus,CMV)是一种重要的植物病原,它具有经济危害性高,覆盖面积广等特点。CMV致病性主要取决于CMV编码的2b蛋白。在田间分离的部分CMV株系会携带一种不编码任何蛋白的卫星RNA(satellite RNA,sat RNA),后者完全依赖CMV进行复制。Sat RNA的存在通常会对辅助病毒的致病性产生影响。大多数sat RNA能够明显减轻CMV
学位