二维图像去反射和三维点云分析的深度学习模型研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:AFI123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人们对于世界的认知往往是通过二维以及三维图像。当下,人们对图像信息质量的要求越来越高,但是由于一些客观因素比如遮挡,反光,暗环境等条件,设备难免会采集到低质量的图像图形信息。这些低质量的图像一方面对人类视觉系统不友好,另一方面也不利于计算机视觉的下游任务,诸如图像分类,图像分割,目标检测等。所以,对低质量的图像图形信息进行修复是十分有必要且有意义的工作。类似的,三维图形也可能由于扫描角度限制等问题而残缺不全,或者,在有些场景下,把二维图像转化为三维模型更加有助于我们对目标以及场景的分析,那么,这些任务必须是以高质量的二维图像为前提的。所以,二维图像和三维图像的处理在整个计算机视觉领域是独立统一的,它们各有特性但并不排斥彼此。近些年来,深度学习给计算机视觉领域带来了巨大的发展,因此许多有意义的工作被提了出来。本文主要聚焦于采用深度学习的模型对二维图像进行去反射,以及对三维点云进行修复,从二维图像序列中重建三维点云并进行分析。对于如何去除图像上的反射场景,本文研究了以下三个不同应用场景下的解决方案:(一)利用深度神经网络进行单张图像去反射。当人们透过玻璃拍照时,得到的图像是透射场景层与反射层的线性叠加。通常,反射层会有一些重影效应,这是由于玻璃本身是有两个面或者多个面的,反射场景的光线到达玻璃时,会产生一系列复杂的反射以及内部折射问题,从而导致重影现象的产生。在多数情况下,这些反射层的边缘与透射层一样都是比较锐利的,很难和透射层进行区分,更难的是,对于单张图像而言,有时候被反射区污染的区域内,反射图像是显性的,或者几乎完全覆盖了透射层。针对以上提及的内容,本文先对反射图的获取建立模型,进而人工合成训练数据,最终提出了一种基于神经网络的单张图去反射模型。在模型的训练过程,采用内部损失和外部损失相结合的策略,在测试数据上取得了良好的表现。(二)利用深度学习同时进行单张图去反射和深度估计。由玻璃引起的反射往往会降低图像的质量,进而使深度估计变得困难。因此,我们提出了对单张图同时去反射和深度估计的方法。我们使用一个协作神经网络同时进行去反射(透射层恢复)和深度估计,该神经网络由四个部分组成:用于特征提取的编码器、去反射子网络(Reflection Removal Network,RRN)、深度估计子网络(Depth Estimation Network,DEN)和透射层引导的深度图优化。通过将DEN的中间特征与RRN连接,实现了反射去除与深度估计的协同。由于恢复后的透射层包含了玻璃后物体的精确边缘,我们以此进行引导滤波,来细化估计深度。实验结果表明,该方法既能去除反射,又能对具有反射的图像进行深度估计。(三)采用紧密伪孪生网络的闪光/无闪光图像对去反射。当物体被玻璃覆盖时,无闪光图像通常包含反射,因此闪光灯可以用来照亮玻璃后的场景,从而增强透射层细节。然而,闪光图像受到了由闪光引起的玻璃表面镜面高光的影响。在这项工作中,我们提出了一个孪生紧密网络(Siamese Dense Network,SDN)的来对闪光/无闪光图像对进行去反射。SDN通过连接孪生紧密模块(Siamese Dense Block,SDB’s)提取可共享和互补的特性。我们使用一个图像融合块(Image Fusion Block,IFB)来融合两个分支的中间输出。由于镜面高光中存在严重的信息丢失,我们利用最大色度梯度(Maximal Chromaticity,MC)来检测闪光图像中的镜面高光。通过观察,闪光会造成图像质量退化,比如色调失真和亮度不均。所以在本工作中,我们利用合成数据集,以及用不同的相机收集的758对真实闪光/无闪光图像对以提高数据的泛化性。实验表明,该方法成功地消除了使用闪光灯和未使用闪光灯图像对的反射,并在视觉质量和定量测量方面优于目前先进的方法。深度学习可以直接应用到点云分析中,在图像去反射中应用的编解码器的思想可以直接应用到点云补全工作:(四)FinerPCN:基于点卷积的高保真点云补全网络。由于遮挡和视角的限制,三维扫描仪经常获得残缺的点云。点云补全旨在从一个不完整的点集推断出一个物体的完整形状。现有的深度学习模型要么不考虑局部信息,要么很容易扭曲与输入相关的区域。在本文中,我们提出了一个更优的点云补全网络,该网络以从粗糙到细腻的方式生成完整的细腻点云,我们将该模型命名为称为FinerPCN。FinerPCN由两个子网络组成:第一步由编码器-解码器用于生成粗糙的形状;第二步用点卷积,细化其局部结构。FinerPCN通过将原始输入向第二子网络再次输入,有效地保护了局部信息,在保持全局形状的同时缓解了输入的结构变形。实验结果表明,与现有的方法相比,FinerPCN在成功保持输入形状的同时,可以生成更细腻的补全结果。还可以利用深度学习模型从二维图像重加三维结构,并利用孪生网络对心脏点云进行病理分析:(五)心脏分割并重建三维点云进行心脏病诊断:心脏磁共振(Magnetic Resonance Imaging,MRI)图像的分割是临床诊断的关键。在传统的诊断过程中,临床专家需要手动对左心室、右心室和心肌进行分割。然而,手工分割是耗时且劳累的。本工作提出了基于深度神经网络的心脏自动分割和心脏病分类。心脏MRI分割包括两个步骤:(1)从整个舒张期和收缩期MRI序列中获取感兴趣区域。(2)将ROI输入到全卷积神经网络中,获得像素级分割结果。在分割结果的基础上,通过线性插值重构出三维曲面,并对三维曲面上随机均匀采样一个点云。最后采用心脏病诊断网络(Cardiac Diagnosis Network,CDN)进行心脏病分类。实验结果表明,该方法成功地从心脏MRI图像中分割出左室、右室和心肌,且可以达到百分之92的诊断准准确率。
其他文献
网络安全分析根据网络主机基数、网络流和网络行为等安全参数,分析网络通信的变化趋势,进而判断网络的安全性,是维护和保障网络空间安全的重要技术。然而,随着网络规模的不断扩大,海量安全参数导致网络安全分析面临效率低、准确性差、资源消耗大的问题。近年来,数据压缩融合方法已被广泛应用在网络安全分析中,通过按需压缩和融合数据,减少存储及分析数据所需的资源消耗,具有时间和空间上的优势,是克服海量安全参数给网络安
随着互联网的进一步普及以及数字多媒体技术迅速发展,全球已经进入大数据时代。网络数据体量呈爆炸式增长,数据传播形式由单一文本发展为包含文本、图像、视频、三维模型等多媒体数据。如何有效地对庞大的多媒体大数据进行存储和分析,为用户提供感兴趣且类型丰富的媒体数据,已经成为学术界及工业界高度关注的重要问题。跨模态哈希技术,通过机器学习紧凑哈希编码的方式对多媒体大数据进行管理与分析,具有存储空间小、检索速度快
光场相机的出现,是计算成像领域的一个革命性进展。光场相机突破了传统相机只记录光线强度的局限,同时记录光线的方向和强度信息,通过信号处理算法可以实现先拍照后对焦、精准虚拟视点合成等众多功能,在计算机视觉、计算成像、机器人等领域具有广泛的应用前景。几何标定是光场相机各项应用算法的基础,内外参标定参数的精度直接影响了各项应用的性能。内外参标定是光场相机领域的研究热点,近年来在投影模型、图像特征提取、标定
氮化镓(Gallium Nitride:GaN)具有禁带宽度大、击穿电场高、热导率高、电子饱和速率高等优越性能,还能与氮化铝(Aluminum Nitride:AlN)或氮化铟(Indium Nitride:In N)等其它Ⅲ族氮化物形成直接禁带半导体合金材料,禁带宽度可从0.65到6.2 e V之间任意调节,在光电器件和电子器件等领域扮演着极其重要的角色。此外,Ⅲ族氮化物具有很强的压电极化和自发
海面目标检测是雷达目标探测的一个重要分支,也是雷达系统设计的基础和前提,在军事和民用领域都具有重要的研究意义。杂波是制约雷达目标检测和跟踪性能的关键因素,对于杂波特性的研究始终是雷达领域的热点。随着雷达分辨率的提高,传统检测方法并不能满足现役装备的需求。因此,本文着重研究了海杂波和目标多维度的特性差异,以及它们在海面目标检测中的应用。论文的主要研究工作如下:1.杂波模型的参数估计直接影响着高分辨长
视觉信息是大数据时代的主要数字信息资源,图像和视频是人类获取视觉信息的主要来源。人眼视觉系统是所有视觉信息的最终接收端,其本身就是一个复杂、高效的信息感知处理系统。因此,如何从图像和视频数据中迅速而准确地获得符合人眼视觉感知的信息成为研究的难点与热点。即以人眼视觉感知要求为准绳,研究如何有效提升计算机处理视觉信息和评价图像和视频质量的能力。总结起来,面向人眼视觉感知特性的图像质量评价可以看作大脑通
新辅助治疗(neoadjuvant therapy,NAT)后进行全直肠系膜切除(total mesorectal excision,TME)手术是局部进展期直肠癌(locally advanced rectal cancer,LARC)患者的标准治疗方案。在接受了NAT后,大约有50%至60%的LARC患者实现了肿瘤分期降低且有大约20%的患者能够达到病理学完全缓解,随后进行的TME手术能够有效
拓扑性质是复杂网络不依赖于节点的具体位置和边的具体形态就能表现出来的性质,其相应的结构叫做网络的拓扑结构。任何复杂系统都可以抽象成为由相互作用的个体组成的网络,因而网络无处不在,遍及自然界和人类社会。复杂网络的拓扑结构是人们理解网络本身的特性、网络中节点的行为以及节点之间的相互影响等的基础,也是很多领域如复杂网络的统计特性、节点特征提取、节点分类/聚类等的研究基础。对于物理学家而言,研究复杂网络的
第三代合作伙伴计划(third Generation Partnership Project,3GPP)成立于1998年,从最初的通用移动通信系统网络,到长期演进(Long Term Evolution,LTE)网络、LTE网络的后续演进(LTE-Advanced,LTE-A)网络,再到当前主流发展的第五代移动通信技术(fifth Generation,5G)网络,3GPP已成长为全球最大的通信标
流形优化在应用数学、统计学、工程、机器学习等领域有着广泛的应用.利用流形的拓扑结构和几何性质,可以将线性空间上的约束优化问题看做流形上的无约束优化问题;通过引入适当的黎曼度量,也可以将线性空间上的非凸优化问题转化为流形上的凸优化问题.许多实际应用中数据的自然结构常常建模为约束优化问题,其约束是黎曼流形.为此,人们一方面研究子流形的拼挤性质以简化数据的建模结构.另一方面研究黎曼流形上的优化理论继而构