实景三维建模在城市建设、高精度地图、地理勘测等领域都具有十分重要的作用。因此,关于基于图像的高精度三维建模方面的研究也逐渐成为关注的热点,大量方法涌现出来。其中增量式三维重建因其较好的鲁棒性和较高的建模精度被广泛应用在学术研究与工程实现领域。其中,传统增量式重建中的初始图像对选取方法在相似图像搜索、相对位置关系计算的过程均依赖SIFT、SURF等特征点提取的效率和准确度,并且要进行两两图像间的特征点匹配。该过程不仅存在大量冗余的配对效率低下,同时在面对光照条件不好、模糊等情况时也不够鲁棒。近年深度学习领域的高速发展,其完成训练的模型具有占用资源小、计算速度快的优势,被应用在诸多计算机视觉领域,本文也尝试使用深度学习的方法改善传统增量式重建中初始图像对选取方法所存在的问题。本文首先对多任务学习的基础理论以及增量式三维重建的主要算法流程进行了介绍,通过对传统基于特征匹配的初始图像对选取算法的缺点进行分析,解释了其计算耗时过长的原因,并提出了自己的解决方案。本文主要工作如下:第一,简要梳理传统增量式稀疏重建的方法流程,提出一种基于回归神经网络的初始图像对评分网络,通过传统Sf M的方法建立数据集,并进行重建实验完成了使用神经网络进行初始图像选择的可行性验证。第二,本文基于多任务学习与深度神经网络理论,提出了同时预测图像相似度与相机位置姿态的多任务网络框架,通过同时学习图像特征和几何信息。并设计了多种不同任务之间共享参数的结构,提出多种模式的初始对选取网络,包括并联型、浅层交叉连接型、深层交叉连接型,并阐释对于初始对选取问题最合适的连接方式。通过实验验证,本文提出的基于深度学习的多任务初始图像对选取网络,能够高效获得增量式三维重建的初始图像对,大幅缩短计算时间,同时相较于传统初始图像选取算法在稀疏重建的精度上也有小幅提升。第三,为了避免选取的初始图像对位于稀疏区域导致重建场景不完整的问题,利用多任务学习方法的中间结果,计算出场景连接图,并提出了一种基于场景连接图的初始图像对选取策略,实验表明该策略能够很好地保证特殊场景下三维重建的鲁棒性。