三维物体跟踪在工业自动化、虚拟现实和增强现实中有着重要应用。本文从刚体三维实时跟踪和三维手势实时跟踪两个角度,分别进行了研究。汽车流水线上零件的识别和跟踪是本文刚体三维实时跟踪的应用场景。这个过程被分成了两个阶段:识别和实时跟踪。核心问题都是如何找到点的对应。在识别阶段,参考物和目标物分别位于不同的坐标系中,我们对每个关键点计算一个局部描述符,提取其局部的几何特征并作编码,将在三维空间中寻求点对应的问题转化为在特征空间中寻找最近邻的问题。在跟踪阶段,目标物和参考物坐标系的变换已知,对于新的一帧,将采集的点云数据与前一帧的参考物做对齐,获取变换,然后根据变换更新前一帧参考物的位置和朝向。为确保跟踪精度,我们计算稠密点云的对齐,采用类似迭代最近邻的方法,通过空间中点的“临近”来解决点的对应问题。采用投影操作将对“临近”的搜索从三维降到二维,减小计算复杂度,并发掘算法的并行性,用GPU并行计算加速。三维手势实时跟踪的应用场景是人机交互,其目的是利用传感器获取的人手的几何信息,估计并恢复出人手的姿态。该系统可以被分为两个部分:(1)基于前向运动学的三维人手动画引擎,(2)手势跟踪模块。在第一部分,我们通过对人手模型的运动学建模,设计了基于前向运动学的人手模型。我们采用多个球体近似人手,将点与表面的对应问题转化为点和模型球心的对应问题,以降低计算复杂度。在第二部分,通过优化一个精心设计的能量方程,解决模型与采集数据的拟合问题。讨论粒子群和Articulated ICP算法在搜索最优解上的互补特性,并结合两者优点采用一种混合的优化算法获取最优解。两个系统的实现及结果显示了算法的正确性和鲁棒性。