基于多尺度互特征卷积神经网络的深度图像增强

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:zuochuan002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度摄像头相关技术的不断发展,我们可以越来越容易获取深度图像。在虚拟现实,三维重建等领域,深度信息都具有很高的应用价值。然而,目前消费级深度摄像头获取的深度图像存在两个方面的问题:一个问题是深度图像常受到噪声干扰,存在因深度值丢失而引起的大黑洞;另一个问题是深度图像分辨率较低,不能够提供高精确度深度信息。受此影响,深度信息不能够被充分地利用,严重限制了基于深度信息的相关应用的发展。因此,深度图像增强成为急需解决的问题。针对上述问题,本文对深度图像增强进行了深入的研究,包括深度图像去噪和深度图像超分辨率重建,主要研究内容和贡献如下:针对深度图像噪声的特点,提出了基于多尺度互特征CNN的深度图像去噪网络。这个端到端的深度图像去噪网络由数据驱动,实现了自动特征抽取,一共包含两个阶段:多尺度互特征学习和深度信息转换。对于多尺度互特征学习,我们设计了两个多尺度互特征生成器来提取更可靠的互特征。之后,深度信息转换子网络将利用这些互特征恢复出干净的深度图像。我们在常用的RGB-D数据库上进行了测试,与目前具有代表性的方法进行相比,结果表明我们提出的方法能够在PSNR数值评估和视觉效果两方面都能取得更好的结果,同时具有较高的处理速度。此外,我们的模型也具有较强的泛化性能,能够处理实际场景中深度图像的噪声。对于深度图像超分辨率重建,我们提出了两种基于多尺度互特征的卷积神经网络,包括基于多尺度互特征引导的深层深度图像超分辨率网络(MSMF-DSR)和基于多尺度互特征和残差融合的深度图像超分辨率网络(RF-MSMF-DSR)。MSMF-DSR将多尺度互特征作为引导信息,避免了彩色图像中冗余信息的干扰,提升了深度超分辨率重建效果。根据低分辨率深度图像与高分辨率深度图像具有共同低频信息的特点,RF-MSMF-DSR引入残差学习,将网络的学习目标转换为低分辨率输入到残差的非线性映射;此外,将深层网络和浅层网络结合,实现不同层级残差分量的残差融合,增强了整体网络模型的表征残差特征的能力,提升了泛化性,从而进一步提升了深度超分辨率重建效果。实验结果从RMSE数值评估和视觉效果两方面表明了上述两种方法的有效性。
其他文献
自近代真正的科学诞生以来,科学知识就不断地从低级向高级发展着,以创新思维为先导和核心的科学知识(理论)对科技创新、实践创新起着重要的指导作用,它既是科学知识增长的灵
曲面加工中应用模型处理可简化加工难度,提高加工效率.本文对曲面加工中模型处理及一些相关问题进行了探讨.
文章提出一个基于自我比较和人际比较视角下的个体幸福感分析框架。首先简述了“比较”及其“比较观”下的幸福感的含义。其次,分别阐述了个体自身在单一事物(财富)之间“比较
"学而优则仕"追求的是外在的目的,它以官为本位;"学而优则学"以内在的学术为本位,受内在目的的推动;从"学而优则仕"到"学而优则学",就是要在自足的目的的追求中回到人的理性
社会文化视野下中国疾病医疗史研究是目前国际史学界方兴未艾的前沿性研究,也是目前中国大陆正在兴起而尚为薄弱的研究领域,为推动这一研究深入开展,加强国际学术交流,探究本研究
期刊
随着虚拟化技术的发展与云计算的进步,越来越多的厂家都在发展自己的云数据中心,小厂家也将很多自己的业务主机都部署在购买的数据中心的虚拟机中。云数据中心的发展,也更加
文章介绍了1930年张相文辞去会长后中国地学会的艰辛历程,对中国地学会的活动经费问题进行了深入细致的考察和整理,首次披露了中国地学会与北平研究院合作情况及1948年中国地
基于改进Hough变换算法的视频检测技术,研究一种高可靠性的地铁屏蔽门与列车之间异物自动检测方法,并形成一个系统。该系统能够辅助或代替列车司机检测地铁屏蔽门与列车之间
随着科学技术的发展,新学科、新的技术成果不断涌现,科学发展有赖于科学家之间的及时交流,也期待着普通读者的参与,因此科技英语越来越彰显其重要作用。作为一种独特的语言体