作为计算机视觉及图形学热点研究方向之一,建筑物三维重建在城市规划、游戏动画、虚拟现实、战场模拟等领域有越来越多的应用。随着技术的发展日益成熟,在基于图像的建筑物三维重建中,面临问题颇多,如建筑物目标图像背景复杂、传统基于特征点匹配的三维点云模型易产生空洞现象,三维线段模型能更好反映其拓扑结构等。因此本文提出一种基于图像的建筑物线段三维重建方法。首先针对大型建筑物利用无人机等设备采集的照片,目标建筑难以提取、背景杂乱等问题,利用基于深度学习YOLOv3(You Only Look Once)目标检测算法的网络模型进行建筑物目标检测,通过LSD算法在检测后的目标建筑中进行直线提取与匹配,剔除图像序列集中背景杂乱的部分并提高效率。并且利用一种基于LSD(Line Segment Detector)的线段检测匹配方法,通过纯粹对极几何关系进行检测匹配。寻找图像序列中的相邻图片且只在相邻图片间进行匹配,提高线段检测匹配的效率且为后续三维线段重建提供有效的二维线段。其次在重建过程中研究一种二维线段聚类成三维模型的方法。本文通过计算最高的重投影评分的方法获得三维线段的最终位置。然后利用复制图聚类算法(Replicator Graph clustering)聚类二维线段,并且通过光束平差法对三维线段进行优化。在三维重建的二维线段匹配过程中涉及实验参数?、M、K,本文针对不同的图片集进行参数评估,通过评判模型图与重建的时间、线段数得出最优结果。最后,基于前述算法,本文将目标检测与线段三维重建相结合,设计对大型建筑物图像序列线段三维重建的方法,并设计实验验证前述算法的可行性。通过实验表明本文方法比传统基于特征点检测匹配方法模型更精确,与未结合目标检测方法相比提高了重建速率并能更好的重建三维建筑模型,具有一定的应用价值。