人类生活在一个三维的世界中,并以三维视角观察世界。与人类的感知方式不同,现有的计算机系统主要以观察并分析二维图像为主。因此,探索三维物体重建技术,使计算机系统能够像人类一样感知世界,具有重要的意义。随着深度学习架构的成功和大型三维形状数据集的发布,基于深度学习的三维物体重建方法取得了很大进展。然而,在分析相关研究后发现,目前方法仍然面临一些问题,因此,本文针对现有方法存在的问题,提出了基于深度学习的双目三维物体稀疏与稠密点云重建方法。现有方法存在问题的具体描述以及本文的创新点包括以下几方面:第一,针对现有单视图三维物体重建方法视觉线索有限的问题,以及现有多视图三维物体重建方法中,难以有效提取输入视图被遮挡区域的信息,进而从双目图像中重建点云的问题,本文提出了一种分阶段式双目稀疏点云重建模型,命名为DV-Net。它以一对不同视图的RGB图像作为输入,并分两阶段重建出给定物体的完整稀疏点云。第一阶段:它为每个视图生成一个相对稳健的点云,从而极大程度地重建出输入视图被遮挡区域的形状。第二阶段:该模型提取不同视图点云的特征,该特征包含了输入视图被遮挡区域的信息。接下来,它进一步合并来自不同视图点云的特征,以克服单视图方法视觉线索有限的问题,最终能够生成一个完整稀疏点云。第二,针对现有多视图三维物体重建方法中,跨视图物体区域的对应关系学习问题以及物体内部不同区域间依赖关系建模问题,本文拓展了具有分阶段重建思想的DV-Net模型,提出了一种基于对应关系与依赖关系的双目稀疏点云重建架构,命名为DVPC。它以两张不同视图的RGB图像作为输入,并逐步生成一个被细化的稀疏点云。首先,引入一个点云生成网络,为每个输入视图生成一个粗糙点云。其次,提出了一个双视图点云合成网络。它能够学习两个粗糙点云区域之间的高质量对应关系,从而使得DVPC能够更准确地融合不同视图的特征。然后,该网络可以在被融合特征和粗糙点云之间建立通信以生成一个相对精确的点云。最后,构建了一个点-区域Transformer网络,它能建模相对精确的点云内部不同区域之间的依赖关系。通过这种依赖关系,相对精确的点云被细化为一个更具精细结构的稀疏点云。第三,针对现有多视图三维物体重建方法中,输入视图的细粒度语义提取问题以及视图之间的语义关联建模问题。同时针对在多视图三维物体重建方法中,从双目图像中重建稠密点云的问题,本文将具有分阶段重建思想的DV-Net整合到Transformer模型中,提出了一种基于语义感知Transformer的稠密点云重建方法,名为SATF,它用于从双视图RGB图像中重建给定物体的稠密点云。该方法由两个并行视图Transformer编码器和一个点云Transformer解码器组成,每个视图Transformer编码器都可以学习一个多级特征,以描述输入视图的细粒度语义。点云Transformer解码器通过建模不同视图多级特征之间的语义相关性探索一种语义关联的特征,从而描述视图之间的语义联系。此外,它还可以利用语义关联特征进一步生成稀疏点云。最后,该解码器将稀疏点云丰富为高分辨率稠密点云。