增强现实(Augmented reality,简称AR)是指将计算机生成的虚拟物体或系统提示信息叠加到真实场景中,从而实现对现实的“增强”。随着Google glass、HoloLens等AR硬件系统的发布,以及奇幻咔咔、Pok6mon Go等AR相关应用的大热,增强现实成为当前最受关注的技术之一。当前的大部分AR应用中,主要是通过对特定的标记图案或场景特征点检测来构建实景中的参考平面,并计算出相机相对于此参考平面的空间位置,由此实现虚拟物体与实景的叠加。这其中并没有获取现实场景的三维信息,无法对现实场景中的物体进行定位、识别,所以无法实现虚拟物体与实景物体的遮挡判断、碰撞等效果。本文则拟基于深度图像,实现对场景物体的分割与跟踪,从而实现虚拟物体与实景物体的遮挡、碰撞,增强虚实交互的效果。我们采用Kinect获取场景的深度图像数据,基于深度图像来进行场景物体的分割,并进一步实现对所分割物体的动态跟踪。在进行场景分割时,首先将深度信息转换成为点云数据,然后基于法向信息及场景的先验知识分割出场景中的大平面(桌子、墙面等),最后对剩下的点云数据进行聚类,从而实现对场景的分割。在此基础上,我们对分割得到的物体构建包围盒(被称为代理几何体),以方便之后进行虚实物体的交互计算。在进行场景物体跟踪时,我们将已分割物体作为跟踪模板,采用基于粒子滤波的三维跟踪算法进行计算,实现了对多目标的实时跟踪。我们利用Unity3D作为平台实现AR应用系统的开发。首先将上述分割及跟踪算法封装在DLL中,运行时该DLL会将分割、跟踪得到的物体代理几何体传入Unity中;然后在Unity中进行虚实物体的融合绘制、虚实物体的遮挡判断以及碰撞模拟等工作。实验结果表明本文可实时分割并跟踪室内场景中的物体,由此可以有效实现虚拟物体与真实物体的碰撞、跟踪、遮挡等交互。本文工作可用于实现带有虚实互动的增强现实,对增强现实技术研究具有参考意义,并对增强现实相关的应用开发具有很好的实用价值。