无源毫米波成像系统的工作原理是通过采集周围环境和物体自然辐射出的毫米波段能量，根据这些吸收到的毫米波能量的不同来实现成像。由于衍射受限，灵敏度制约，无源毫米波图像的分辨率较差，信噪比相对较低，目标的形状和纹理特征清晰度不强，容易导致在目标跟踪过程中的丢失或误判。开展无源毫米波和视频序列图像融合目标跟踪算法，不仅可以根据视频序列图像提取出目标的形状和纹理特征，还能够提取无源毫米波图像的金属目标信息，便于目标的准确定位和跟踪。本论文依托国家级科研项目，针对上述问题进行研究，主要工作内容如下：1.分析了多源传感器数据融合的集中式、分布式、混合式三种融合结构的优缺点和适用环境，得出了使用分布式融合结构能够降低系统的融合误差，并且能够提高融合系统的实时性的结论。2.在无源毫米波和视频序列图像各自成像特点的基础上，分析了两种图像目标的特征，给出了使用特征层融合思想对两种图像目标的位置、区域等特征进行融合的方法，可提高两种图像目标的信息利用率。3.针对传统线性目标跟踪算法误差过大的问题，将径向基函数神经网络算法引入目标状态估计中，并提出通过引入误差因子权值，降低误差均值和学习次数，使其更适合于鲁棒性要求较高的跟踪滤波算法。4.针对无源毫米波图像和视频图像序列分别提取出的目标图像位置匹配差较大的缺点，提出了基于贝叶斯准则的目标重合概率分析融合算法，通过计算目标区域重合部分的概率，将目标进行归类判决。以判决结果为依据所得到的融合结果，能够使目标跟踪的结果更加精确。仿真实验结果证明了本文所研究的跟踪算法和目标融合算法的有效性和优越性。该算法可以良好的应用于无源毫米波和视频序列图像的多传感器融合跟踪系统，并且具有较好的鲁棒性和实时性。