人们对于世界的认知往往是通过二维以及三维图像。当下,人们对图像信息质量的要求越来越高,但是由于一些客观因素比如遮挡,反光,暗环境等条件,设备难免会采集到低质量的图像图形信息。这些低质量的图像一方面对人类视觉系统不友好,另一方面也不利于计算机视觉的下游任务,诸如图像分类,图像分割,目标检测等。所以,对低质量的图像图形信息进行修复是十分有必要且有意义的工作。类似的,三维图形也可能由于扫描角度限制等问题而残缺不全,或者,在有些场景下,把二维图像转化为三维模型更加有助于我们对目标以及场景的分析,那么,这些任务必须是以高质量的二维图像为前提的。所以,二维图像和三维图像的处理在整个计算机视觉领域是独立统一的,它们各有特性但并不排斥彼此。近些年来,深度学习给计算机视觉领域带来了巨大的发展,因此许多有意义的工作被提了出来。本文主要聚焦于采用深度学习的模型对二维图像进行去反射,以及对三维点云进行修复,从二维图像序列中重建三维点云并进行分析。对于如何去除图像上的反射场景,本文研究了以下三个不同应用场景下的解决方案:（一）利用深度神经网络进行单张图像去反射。当人们透过玻璃拍照时,得到的图像是透射场景层与反射层的线性叠加。通常,反射层会有一些重影效应,这是由于玻璃本身是有两个面或者多个面的,反射场景的光线到达玻璃时,会产生一系列复杂的反射以及内部折射问题,从而导致重影现象的产生。在多数情况下,这些反射层的边缘与透射层一样都是比较锐利的,很难和透射层进行区分,更难的是,对于单张图像而言,有时候被反射区污染的区域内,反射图像是显性的,或者几乎完全覆盖了透射层。针对以上提及的内容,本文先对反射图的获取建立模型,进而人工合成训练数据,最终提出了一种基于神经网络的单张图去反射模型。在模型的训练过程,采用内部损失和外部损失相结合的策略,在测试数据上取得了良好的表现。（二）利用深度学习同时进行单张图去反射和深度估计。由玻璃引起的反射往往会降低图像的质量,进而使深度估计变得困难。因此,我们提出了对单张图同时去反射和深度估计的方法。我们使用一个协作神经网络同时进行去反射（透射层恢复）和深度估计,该神经网络由四个部分组成:用于特征提取的编码器、去反射子网络（Reflection Removal Network,RRN）、深度估计子网络（Depth Estimation Network,DEN）和透射层引导的深度图优化。通过将DEN的中间特征与RRN连接,实现了反射去除与深度估计的协同。由于恢复后的透射层包含了玻璃后物体的精确边缘,我们以此进行引导滤波,来细化估计深度。实验结果表明,该方法既能去除反射,又能对具有反射的图像进行深度估计。（三）采用紧密伪孪生网络的闪光/无闪光图像对去反射。当物体被玻璃覆盖时,无闪光图像通常包含反射,因此闪光灯可以用来照亮玻璃后的场景,从而增强透射层细节。然而,闪光图像受到了由闪光引起的玻璃表面镜面高光的影响。在这项工作中,我们提出了一个孪生紧密网络（Siamese Dense Network,SDN）的来对闪光/无闪光图像对进行去反射。SDN通过连接孪生紧密模块（Siamese Dense Block,SDB’s）提取可共享和互补的特性。我们使用一个图像融合块（Image Fusion Block,IFB）来融合两个分支的中间输出。由于镜面高光中存在严重的信息丢失,我们利用最大色度梯度（Maximal Chromaticity,MC）来检测闪光图像中的镜面高光。通过观察,闪光会造成图像质量退化,比如色调失真和亮度不均。所以在本工作中,我们利用合成数据集,以及用不同的相机收集的758对真实闪光/无闪光图像对以提高数据的泛化性。实验表明,该方法成功地消除了使用闪光灯和未使用闪光灯图像对的反射,并在视觉质量和定量测量方面优于目前先进的方法。深度学习可以直接应用到点云分析中,在图像去反射中应用的编解码器的思想可以直接应用到点云补全工作:（四）FinerPCN:基于点卷积的高保真点云补全网络。由于遮挡和视角的限制,三维扫描仪经常获得残缺的点云。点云补全旨在从一个不完整的点集推断出一个物体的完整形状。现有的深度学习模型要么不考虑局部信息,要么很容易扭曲与输入相关的区域。在本文中,我们提出了一个更优的点云补全网络,该网络以从粗糙到细腻的方式生成完整的细腻点云,我们将该模型命名为称为FinerPCN。FinerPCN由两个子网络组成:第一步由编码器-解码器用于生成粗糙的形状;第二步用点卷积,细化其局部结构。FinerPCN通过将原始输入向第二子网络再次输入,有效地保护了局部信息,在保持全局形状的同时缓解了输入的结构变形。实验结果表明,与现有的方法相比,FinerPCN在成功保持输入形状的同时,可以生成更细腻的补全结果。还可以利用深度学习模型从二维图像重加三维结构,并利用孪生网络对心脏点云进行病理分析:（五）心脏分割并重建三维点云进行心脏病诊断:心脏磁共振（Magnetic Resonance Imaging,MRI）图像的分割是临床诊断的关键。在传统的诊断过程中,临床专家需要手动对左心室、右心室和心肌进行分割。然而,手工分割是耗时且劳累的。本工作提出了基于深度神经网络的心脏自动分割和心脏病分类。心脏MRI分割包括两个步骤:（1）从整个舒张期和收缩期MRI序列中获取感兴趣区域。（2）将ROI输入到全卷积神经网络中,获得像素级分割结果。在分割结果的基础上,通过线性插值重构出三维曲面,并对三维曲面上随机均匀采样一个点云。最后采用心脏病诊断网络（Cardiac Diagnosis Network,CDN）进行心脏病分类。实验结果表明,该方法成功地从心脏MRI图像中分割出左室、右室和心肌,且可以达到百分之92的诊断准准确率。