三维重建是机器人领域和计算机视觉中的一个热门的研究课题。传统重建方法通过稠密视角下的帧间匹配来估算相机位姿变化,进而完成重建,因此受限于视角数量、传感器噪声、反射条件等因素的制约,重建的结果可能缺失关键结构,从而影响接下来的形状分析和交互工作。本文通过引入深度学习方法来弥补这一问题,具体体现在研究扫描视角预测和三维结构预测之间的关联性,并设计统一的深度学习模型实现在三维重建过程中视角规划与三维重建的同步进行,提高重建的准确性和信息获取的效率。首先,为了探讨视角预测和三维结构预测之间的关系,本文提出了基于深度学习与视角规划的三维对象建模的基本模型架构。同时为了验证视角预测对信息获取能力和重建质量的促进作用,本文设计了一个面向多视角图片序列的三维体素重建网络,网络整合了视角预测网络和三维重建网络两个模块,并构建成一个可联合训练的统一架构,在对比实验中取得满意的结果。实验验证明深度学习可以使用少量信息对目标对象的全局结构进行预测,而视角规划可以帮助重建过程高效获取信息与提升重建质量。随后,针对三维体素重建网络在显存占用、形状表达能力和忽略几何结构特性等局限性,本文设计了面向多视角图片几何语义特征的三维点云建模方法。通过融合的语义特征和几何特征来同步进行视角的规划和结构的预测,并使用点云这一更一般化的数据形式来节省显存和计算量,同时更好地表达三维形状的局部细节,最终在实验中取得了更好的细节表达能力与重建准确性。