随着全方位成像技术及其应用的不断发展,面向全方位视频的目标检测与跟踪技术也得到越来越多的研究,成为机器视觉研究领域的一个新兴的、多学科交叉的研究方向,在安防监控、辅助驾驶、现场监测、车载巡检、飞行器制导及空间机器人等方面都有直接或潜在的应用前景。本文针对全方位摄像机与主动摄像机协作目标跟踪中亟待解决的一些关键技术问题进行了深入的研究。(1)由于全方位图像从图像的外围到中心分辨率不一致,两个具有相同欧氏距离的点,当它们成像在全方位图像边缘或图像中心时,它们之间的像素距离却并不相同。因此,传统的邻域选取方法并不适合全方位图像处理。文中针对这个问题,从折反射成像特点和全方位图像不同位置分辨率的比例关系出发,提出了一种适应全方位图像处理的邻域定义方法,克服了全方位图像变形和由内至外分辨率不一致的问题。通过在马尔可夫全方位图像运动目标检测应用中与传统邻域定义方法进行对比实验,显示改进后的邻域比传统邻域在整个图像中有更一致的检测效果。(2)由于折反射成像的特点,当目标在空间沿直线运动时,在全方位图像序列上的成像轨迹不是直线而是二次曲线,导致在应用普通透视图像的轨迹预测方法时对目标的下一位置预测误差大。本文采用折反射成像统一的球面投影模型把已知的目标在全方位图像上的成像点投影到球面上,然后在球面上建立全方位卡尔曼滤波器对目标下一个位置进行预测,预测的结果重投影回全方位图像上完成目标的位置预测。在合成和实际的全方位视频上的实验结果显示修改后的全方位卡尔曼滤波器目标位置预测精度和稳定性都得到显著提高。(3)在全方位摄像机与主动摄像机组成的混合摄像机系统中,为了实现两个摄像机之间的协作跟踪,需要获得全方位图像像素位置与主动摄像机运动参数之间的关系模型。本文针对单一多项式拟合方法中存在的不足,提出将全方位图像像素位置的极坐标作为拟合变量和将整个图像分成多片进行拟合的方法来解决0度旋转角跳变问题并提高拟合的精度。在由不同类型全方位摄像机和主动摄像机组成的室内和室外监视系统中进行的混合摄像机空间映射实验显示,采用极坐标和分片拟合方法比单一多项式拟合方法在各片数据上有更一致的拟合精度,稳定性更好。(4)针对折反射摄像机的不同配置可能使全方位图像和透视图像存在的镜像关系,而尺度不变特征变换算法并不对镜像保持不变性,提出将透视图像进行一次水平翻转,然后将原图与翻转后的图像分别与全方位图像进行匹配,取效果好的匹配作为最终结果,从而实现镜像不变。针对全方位图像的环形畸变,提出先将透视图像变换为扇形图像后再进行匹配。实验结果显示,将透视图像变换为扇形图像后再与全方位图像进行匹配,匹配点总数增加,而错误匹配点数减少,匹配结果明显好于变换前的匹配结果。