随着科学技术日新月异的发展,以及国家对国防事业和安防领域的重视,计算机视觉随之也不断的发展与壮大,目标跟踪方面成为其中不可缺少的部分。同时数字信号处理器在性能上也不断的提高,使以前难以处理复杂算法的以及不能满足实时性的方法得到了解决,尤其是TI公司推出的高性能DSP,使图像处理技术提升了一个高度。本课题主要设计了基于特征点的目标跟踪系统,其中包含算法的研究、硬件平台的设计、算法在硬件平台上的实现、系统的优化四部分。目前存在的大多数特征点跟踪算法只是考虑了相邻两帧的情况,而忽略了之前图像帧的特征信息。本课题在原本的Kanade-Lucas-Tomasi(KLT)算法基础上,采用了一种新的基于特征点跟踪方法：首先通过实时训练特征空间,构成图像训练的集合,然后通过高斯-牛顿迭代方法取出目标的特征点,然后通过改进的KLT匹配算法对目标进行准确的跟踪。该算法有效的避免了目标尺度,角度的大幅度变化以及暂时遮挡情况。通过实际的序列图像分析了算法的性能,并与其他算法做出了比较。同时研究设计了以八核DSP(TMS320C6678)为核心处理器,并且结合了FPGA数字视频图像采集的硬件平台,并且针对TMS320C6678的内部特点以及算法的特点,提出了优化的方法。最终实现了对实时传输的视频图像中红外运动目标进行准确的跟踪。