对场景的三维重建作为计算机视觉的核心任务,一直是促进相关领域发展的重要研究方向。基于图像对大型复杂场景的高效重建仍然是当前研究的热点以及挑战,其在机器人导航、工业制造、城市建模等实际领域有着广泛应用。当前基于图像上点匹配的重建已较为成熟,但更高层次的基于线段且具有语义的场景重建则较为复杂且仍不成熟。鉴于对大型场景的三维重建通常都涉及到极大规模的点和线,对其中无论是点线匹配、相机和空间点的估计以及光束平差任务的加速优化都非常值得研究。随着以卷积神经网络为代表的深度学习的快速发展,使得深度学习在图像识别、图像分割、目标追踪等视觉应用上都获得了显著的效果,这些研究成果对于重建的语义化具有重要的促进作用。本文针对基于图像三维重建的相关问题进行研究,包括以点匹配为基础的线匹配、点线融合的三维重建、应用于光束平差的并行化自动微分、应用于光束平差的并行化正定矩阵系统求解以及基于孪生网络的改进分类器。主要的研究内容和创新点如下:(1)针对相比于点匹配更高层次更复杂的线匹配问题,提出一种高效的基于homography和光流追踪的快速稳定线匹配方法。通过使用全局化或网格化的ho-mography将图像对进行变换并提取相似部分。将由LSD检测提取的参考图像线段进行采样化处理,使用光流对线段的采样点在查询图像上进行追踪。基于图像的相似性可以采用区域化方式对得到的追踪点进行快速的线段匹配任务。采用“rank-one”更新的SVD分解方法,对网格homography估计的计算加速。(2)针对增量式SfM存在的误差累积问题及点与线重建的统一性问题,提出并实现全局化SfM方法以及点线融合的SfM处理框架。在全局化SfM中使用线性规划方法来优化相机的绝对方向的L_∞误差。在位置估计中以相机三元组为单位进行相对位置估计,利用线性规划优化并融合所有相机三元组。针对相比于点匹配更困难的线段重建问题,将所提线匹配方法中线段转化为端点匹配,以点线融合的模式进行统一框架的三维重建。为获取图像对上的最大线匹配,对无序的图像集合建立点匹配的图结构,使用蚁群算法寻找一个最优的图像序列。(3)针对大规模光束平差优化算法的稀疏雅可比矩阵计算效率问题,提出并实现基于OpenCL框架的高效自动微分方法。该方法能够提供C++风格的简洁的投影函数编写,并完成自动化的重投影计算以及稀疏雅可比矩阵计算。在函数构建时利用C++的运算符重载生成函数对应的计算图结构,生成用于并行计算的节点正向和反向计算序列,使用拓扑排序解决反向计算序列生成中节点间的依赖关系问题。将该方法实现应用于大规模的光束平差优化问题,采用跨平台的OpenCL实现在如CPU和GPU的计算设备上依照正向和反向计算序列并行地完成重投影以及导数的高效快速计算。(4)针对在光束平差的Levenberg-Marquardt或Dog-Leg等优化算法中,需要快速求解所生成的大型稠密正定矩阵系统问题,提出并实现一种基于OpenCL的并行化Cholesky分解以及三角矩阵系统求解的性能优化算法。在求解中采用小尺寸的矩阵子块以最大化利用计算设备中的高速局部存储器和寄存器,从而加速矩阵子块求逆和相乘运算。矩阵子块的逆矩阵可以在分解后的三角矩阵系统求解中得以复用。(5)为有效提高深度神经网络在图像识别应用中的识别速度和识别率,提出一种应用于图像识别的基于孪生网络和空间变换网络的高效分类器方法。该方法以卷积神经网络为为基础,采用ReLu作为激活函数形成共享参数的双路深度孪生网络。通过基准样本和经过几何扩展的训练样本之间的相似度训练,该孪生网络可作为分类器使用。在孪生网络前加入空间变换器网络来对输入样本进行校正,可以有效地提高识别的准确率。本论文充分结合计算机视觉、深度学习、数值计算及并行计算等技术和理论,提出并实现高效的点线融合三维重建及深度孪生网络图像识别相关技术与方法。这些技术和方法进一步丰富了三维重建领域内的理论研究和实际应用,为高层次高效三维重建的研究提供了重要的参考价值和借鉴作用。