增强现实通过分析场景特征,可以将计算机生成的几何信息以视觉融合的方式叠加至真实环境中,加强人对世界的认知。作为一种全新的人机交互方式,增强现实技术的发展备受关注。虚实融合是增强现实的核心问题,其关键在于：如何利用2D视觉信息恢复真实的3D场景,如何估算视觉传感器在空间的位置和姿态,如何对场景中出现的物体进行感知和处理。尽管计算机视觉已经取得长足进步,但在实际应用中仍然面临着移动摄像机的姿态在三维场景中求解困难、应用场景中一直存在的噪声干扰及遮挡、复杂背景中的物体识别和姿态求解困难等不利因素。因此设计稳定可靠、高效的场景构建和场景识别算法在当前仍然是一项很有挑战性的工作。基于上述研究背景,本文将以构建增强现实装配系统为目标,研究如何从单目摄像机拍摄的视频序列中恢复出场景三维几何和摄像机运动信息,获取场景中物体的姿态并应用于装配指导系统中。本文希望能有效解决在移动增强现实环境中,虚实融合面临的配准准确性、实时性和鲁棒性等问题,促进场景感知在增强现实中的发展。本文主要工作总结如下：针对三维重构效率低,后期识别和感知困难的问题,提出了一个基于视频序列的场景重构算法,从图像序列中恢复场景的3D稀疏表面结构。算法采用局部集束优化方法,不仅可以提高运算效率,还保证了重构结果的精确度和鲁棒性。针对视觉重建噪声多的特点,本文用统计离群值滤波法对场景的重构点云进行滤波,可以在不需要增加很多计算代价的条件下有效地过滤大量噪声,在减少空间点数量的同时还能够保持和增强点云的表面特征。为了获取虚实融合的正确呈现效果,需要计算移动摄像机在空间的位姿,为此提出了一个高效的基于稀疏光流的摄像机跟踪算法。特别针对移动摄像机的姿态在立体场景中求解不稳定、效率低等问题,提出了一种基于关键帧簇的跟踪方法,由稀疏光流对相邻关键帧的对应特征点的位置进行预测和跟踪,建立关键帧之间对应特征点的匹配约束关系,利用与这些特征点对应的3D点位置,对摄像机位姿进行定位及更新,从而提高摄像机姿态的求解效率和精度,有效避免配准漂移问题。为了识别与理解装配环境中出现的真实物体对象,提出了一种基于配准的3D感知方法。通过驱动虚拟模型点云,使之与真实场景的点云匹配,利用点云的相似度对场景中出现的真实物体进行感知。为了降低场景点云中噪声对配准结果的影响,提出一个基于密度自适应的匹配算法,自适应调整不同来源的点云密度,再提取共面四点描述特征对场景点云和模型点云进行相似度匹配,利用共面四点特征的仿射不变性实现对真实物体的识别。该方法可以减少点云的数据量,降低运算复杂度,还能提高匹配精确度。实验结果表明,这种方法能准确在装配环境点云中识别出零部件并能计算出它们的姿态,可用于噪声条件下增强现实交互应用。构建了一个基于单目摄像机的增强现实装配实验平台。该平台以交互操作任务为目标,可以在装配过程中向操作者提供所需的文字、二维图像以及三维模型,帮助用户理解装配任务,获得装配经验；还可以根据装配内容生成装配序列和工艺规划文件。平台综合运用了场景重构、摄像机跟踪以及三维感知方法。实验验证了本文算法的实时性、鲁棒性以及精确性,很好地解决了增强现实应用中所面临的零部件姿态求解问题,3D虚实融合问题。