随着无人机在军事和民事等方面的大量应用，无人机的发展受到了各国的高度重视。由于单架无人机难以满足多任务或复杂度较高的任务，而无人机编队飞行可协同完成更为复杂的任务，执行任务的效率更高，因此无人机编队飞行是无人机发展的一个重要趋势。视觉跟踪技术能从视频序列中获得感兴趣目标的状态参数，故在编队飞行中可以利用视觉信息进行目标检测与跟踪来确定邻机方位及距离信息，从而为实现队形控制提供测量信息。本文设计了目标跟踪系统，分为软件算法设计和硬件设计。系统的软件算法分为目标检测和目标跟踪两个部分。目标检测是目标跟踪的基础。在目标检测阶段，系统利用视觉传感器获取无人机的运动图像，经过图像预处理、直方图计算，阈值分割等一系列处理，最终将目标从背景中检测出来。目标跟踪部分主要获取目标的位置。本文选择了KLT算法作为系统的跟踪算法，对视频图像中检测出的目标进行跟踪，计算出无人机在图像上的相对位移。根据跟踪系统的要求，本文以专用视频处理DSP芯片DM642为核心，设计了系统的硬件平台，包括图像采集、图像存储、图像处理、图像输出、通讯以及云台运动控制等关键模块。以TI的DSP开发环境CCS为平台，实现了视频驱动、目标检测、目标跟踪、云台控制算法，并在DSP平台上进行了物理仿真验证。验证结果表明，跟踪结果准确性较高，满足实际应用的精度要求，可用于无人机编队稳定跟踪，为进一步解决无人机相对定位问题提供信息。