在人所感知到的环境信息中，视觉信息占了非常大的比重，其中动态视觉信息更是其主要组成部分。感知环境中的这些动态视觉信息已成为计算机视觉的一个重要的研究方向。运动目标检测与跟踪是应用视觉和运动图像编码研究领域的一个重要课题，在许多领域有着广泛的应用。本文主要研究了基于DSP的运动目标检测与跟踪问题，包括硬件平台的构建和运动检测跟踪算法软件设计与实现。在运动目标检测部分，介绍了现有的几种常用的检测算法，针对传统帧差算法，检测出的运动目标不够完整的缺点，进行了改进；针对传统的背景重建算法运算量大，耗时的缺点，提出基于块的背景重建，均通过实验验证了方法的有效性。在运动目标跟踪部分，首先介绍了Kalman滤波的基本原理，在此基础上提出了基于Kalman滤波的跟踪算法；然后详细分析了本文目标跟踪系统所采用的波门算法，为后面系统的实现打下了理论基础。详细介绍了基于DAM6416P图像处理平台的跟踪系统的实现，整个系统工作过程为DSP先对采集到的图像进行预处理，然后采用帧差法检测运动目标，接着采用基于双波门算法根据目标的质心位置来判断是否移动云台以及云台移动方向，从而实现对运动目标的实时跟踪。从实验数据与结果看，本文研究的跟踪系统在一定条件下能够准确、及时地检测跟踪目标，达到了预期效果。