计算机视觉研究是人工智能发展的重要分支,而双目视觉研究是计算机视觉领域的重要研究内容。双目视觉设计简单,算法速度较快,并且可以通过视差原理获得目标物体的深度信息,达到还原场景三维信息的效果。随着社会的发展,科研人员对双目视觉的研究也越来越重视,并且双目视觉的研究已经广泛应用于工业、医学、安防、交通等各个领域。现有的双目视觉主要是利用同源传感器获取序列图像,进而对序列图像进行处理、分析、检测、跟踪等操作。但传统的双目视觉在能见度低的复杂环境下仅靠可见光传感器获取信息实现运动目标检测与跟踪有一定的难度,因此异源双目视觉由此诞生。结合可见光传感器和红外传感器的双目视觉目标跟踪,可以充分利用由可见光传感器获取的场景灰度信息和纹理信息,并结合由红外传感器获取的温度信息,在复杂环境下实现了信息互补,对长时间目标连续跟踪有非常重要的意义。基于此,本文展开基于可见光与红外图像异源双目视觉目标跟踪研究,其主要研究内容总结如下:(1)相机标定。本文分析并对比了各种类型的相机标定算法,最终选取了灵活性和精度都较高的张正友标定法实现可见光与红外图像异源双目视觉相机双目标定,获取相机内参和外参,并对输出图像进行图像矫正,使得输出的可见光与红外图像在同一水平线上。(2)运动目标检测。运动目标检测的目的是分割图像背景与前景,从而达到为目标跟踪服务的效果,当前主流的运动目标检测算法有帧间差分法、三帧差分法、背景差分法、Vibe算法、Vibe+算法等。本文对比并分析了帧差法和背景法各自的优缺点,利用帧间差分法和背景差分法相结合,提出一个快速、高效的新型运动目标检测算法。(3)图像配准与融合。由于可见光与红外图像的成像原理不同,使用传统的图像匹配算法依旧无法满足实际需求。根据研究可见光与红外图像各自特点发现,可见光与红外图像都保留了场景边缘信息,利用形态学方法提取可见光与红外图像边缘信息,并使用改进C_SIFT算法提取图像特征点,为提高算法速度,使用BRIEF算法生成二进制描述符并进行配准,最终采用RASANC算法消除误匹配点完成可见光与红外图像配准。配准后的可见光与红外图像可直接使用图像融合算法进行融合,已达到信息互补的目的。(4)纹理特征检测。为了精确定位特定目标位置,需要提取特定目标特征信息,LBP及其改进算法可以生成二进制描述符描述目标纹理信息,但当前LBP及其衍生算法不能同时满足目标跟踪算法所需要的精确性和高速性,在此现实基础上,本文提出改进LBP算法ECLBP检测并描述特定目标纹理信息。(5)目标跟踪。经过以上步骤处理的序列图像可以直接用于目标跟踪操作,首先手动选定需要跟踪的目标,使用MedianFlow算法对特定目标进行实时跟踪,为提高跟踪算法的精确性和有效性,使用Kalman滤波器预测目标运动轨迹。