无论是在视频监控还是人机交互、物体跟踪测量、工业生产、医学监测、体育运动和军事研究等领域,都会涉及到运动目标物体的跟踪和定位,并且为了进一步对其行为进行理解,还需对其运动轨迹进行三维重建。基于视觉的运动物体的三维轨迹重建研究其主要解决的内容包括：运动物体的检测、目标跟踪和三维重建。本文的研究内容主要集中于建立双目立体视觉系统,并对采集的视频序列图像进行运动目标的检测和跟踪,已知左、右摄像机下运动物体的二维轨迹后可通过重投影矩阵重建物体的三维运动轨迹。本文研究内容如下：(1)建立双目立体视觉系统,分析了双目视觉中的常用坐标系和各坐标系之间的转换方程,其次对摄像机模型进行了分析探讨,再利用张正友标定方法计算本文中双目视觉模型的各摄像机的单应性矩阵以及参数,求解得到摄像机的内部参数和外部参数,为后续运动物体轨迹的三维重建打下基础。(2)详细介绍了运动物体的儿种检测方法,并在帧间差分法的基础上结合边缘检测和轮廓提取的分割方法检测出运动物体。其次,阐述了目前常用的几种轨迹跟踪算法,根据跟踪目标的需要,选取Camshift算法作为其中一种主要的跟踪算法,并实验分析了该跟踪算法在跟踪过程中出现遮挡、背景干扰以及运动物体速度过快等情况下的跟踪效果,并给出一些拟解决的思路。(3)根据Camshift算法还不能很好的应用于目标跟踪,引入了粒子滤波算法,介绍了粒子滤波算法的基础理论知识,把粒子滤波运用到运动目标的跟踪,并根据算法存在的不足,提出了自适应状态预测模型的粒子滤波跟踪算法,能够较好的解决目标被遮挡、运动自主性较强时物体易跟丢和跟踪不精确的问题。最后把Camshift算法嵌入到改进的自适应状态预测模型的粒子滤波算法中,克服了改进的粒子滤波算法计算量大、实时性差的问题,利用拍摄的视频图像进行实验结果分析,验证该算法能够很好的应用于目标轨迹跟踪。(4)在前几章的基础上,得到了左右摄像机拍摄的序列图像目标物体的二维运动轨迹以及摄像机的内外参数后,利用最小二乘法还原出运动物体的三维轨迹坐标。为验证系统误差,把棋盘格放置在世界坐标系下的不同位置,通过测量棋盘格中角点的真实位置和系统所测数据进行对比,得出重建的三维轨迹在X、Y方向上其平均误差较小,在Z轴方向上误差随着深度距离的增加呈非线性增长。总体而言,其系统效果可满足对精度要求不太高的实际应用中。