目标跟踪是机器视觉研究领域的一个分支,具有十分重要的应用价值。目标跟踪算法能够根据已有的目标初始信息,在视频中对目标位置进行预测,对精度和速度有着十分严苛的要求。但是在实际的算法研究中,精度高与速度快这两种属性往往不能够同时满足。基于此,需要兼顾算法效率与实施平台结构等特性,对目标跟踪算法的性能进行权衡。本文旨在研究基于最小输出均方误差和（MOSSE）相关滤波目标跟踪算法的优化,以及其目标跟踪系统在SoC FPGA平台上的实现。MOSSE算法具有跟踪速度快的特性,在实时目标跟踪的场景中,相较于其他目标跟踪算法有着巨大的优势。但同时,MOSSE算法有着精度不高的劣势,在复杂的跟踪环境中,传统的MOSSE算法往往难以满足精度的要求,针对此问题,本文做出以下研究:首先,从MOSSE算法上进行改进。基于原始灰度信息特征的相关滤波MOSSE算法,在目标选框截断环节,由于快速傅里叶变换产生频谱泄露,致使能量由高频区域（纹理）向低频区域扩散,导致跟踪效果不佳。针对上述问题,为增强复杂外界环境干扰下MOSSE算法的鲁棒性,本文通过二维图像加窗的方法,使用二维窗函数对输入数据进行预处理,使得能量更集中原始频点,提升了MOSSE算法的跟踪性能。其次,MOSSE算法的硬件实现与改进。二维快速傅里叶变换（2D-FFT）是MOSSE算法的核心计算步骤之一,其硬件实现的资源消耗、功耗与时延优化对MOSSE算法的工程应用十分重要。为此,本文根据2D-FFT的原理,设计出经典的2D-FFT结构,并利用状态变换、数据拼接的方法对其进行改进。通过软件分析比较,选择一种资源消耗较少、功耗较低与延时较为合适的实现结构。最后,基于分块设计的思想,将MOSSE跟踪器分解为不同阶段进行硬件描述语言设计。再利用目标跟踪数据集中的视频序列,对此设计进行仿真验证。接着在SoC FPGA开发板上完成系统的整体实现。最终使用现实环境中采集的复杂数据对此跟踪器进行测试,验证其跟踪性能。