三维重建是指对物体或场景建立适合计算机表示和处理的数学模型的过程。无论是传统的数字媒体影视化制作、文物修复与保护、医学图像处理,还是近几年来迅速发展的人机交互、增强现实、虚拟现实等领域,三维重建都发挥着重要的作用。然而,受限于扫描设备、扫描对象特征信息等因素,基于深度相机的实时三维重建在图像数据获取、图像特征匹配和相机位姿估计过程中还存在着较多问题,影响着重建的鲁棒性和模型的精度。本文对基于深度相机和追踪相机实时三维重建的关键技术展开研究,连接多种异构相机,建立统一的数据接口,以深度相机的图像数据和追踪相机的位姿数据作为输入源,不同场景下高精度且具有清晰纹理的三维几何模型的构造为研究目标。研究重点为:（1）在深度与彩色图像数据的获取阶段,针对目前深度相机种类繁多、数据获取方式不一致的问题,为多种异构的消费级深度相机建立了统一的数据接口。本文研究了三种消费级深度相机RealSense D435、Structure Core、Astra Plus的深度图像数据以及彩色图像数据的获取方法,对比了消费级深度相机的主要参数,对深度和彩色图像数据的获取流程进行分析,定义了一个统一的深度相机图像数据获取的基类,派生了三种深度相机的子类,对其主要方法进行了实现。实验表明,本文实现的深度相机图像数据的获取方法可以较好地在重建过程分别使用不同种类的深度相机获取彩色图像数据和深度图像数据,并且重建生成精度较高的三维模型。（2）在位姿数据的获取与处理阶段,针对弱纹理场景重建效果较差的问题,研究了基于位姿数据的相机位姿估计优化方法。本文增加了实时三维重建的数据来源,同时使用深度相机和追踪相机进行扫描重建,对追踪相机获取到的位姿数据进行预处理,完成不同坐标系的数据转换,在过滤匹配、局部优化、全局优化等模块中使用位姿数据对相机位姿估计进行优化,提高了重建的鲁棒性。实验表明,基于位姿数据的相机位姿估计优化方法可以有效地提高弱纹理场景重建模型的精度。（3）在图像特征检测与匹配阶段,针对重建过程中特征匹配容易出错的问题,研究了基于颜色和面积的图像匹配过滤方法。本文对实时三维重建过程中图像特征检测的三种方法SIFT、SURF以及ORB进行了 GPU上的实现,研究并实现了基于颜色差异以及支撑区域面积的匹配过滤方法。实验表明,基于颜色和面积的匹配过滤方法可以有效地减少错误匹配的数量,提高位姿估计的准确性以及重建模型的精度。（4）应用上述改进后的图像数据和位姿数据获取方法、基于位姿数据的相机位姿估计优化方法、图像特征检测与匹配过滤方法以及传统三维重建中的三维模型生成方法,本文搭建了基于深度相机和追踪相机的实时三维重建系统,可以鲁棒地实现室内物体的实时三维重建,生成精度较高的三维模型。