论文部分内容阅读
复杂场景中的多目标跟踪是计算机视觉领域的关键技术之一,在民用和国防诸多领域中均具有极为广阔的应用前景。在单目固定摄像机实现复杂场景的多目标视频监控时,由于观察角度等原因,目标之间的相互遮挡是普遍现象,给目标跟踪算法准确跟踪目标带来了非常大的挑战,甚至严重制约了视频监控系统的进一步发展。如何有效地解决复杂场景中经常出现的目标遮挡,尤其是多个非刚性目标交互导致的短时遮挡,成为当前多目标跟踪技术中亟待解决的难题。本文重点研究复杂场景下多目标跟踪的遮挡算法与应用。
本文将目标遮挡处理形式化地表示为运动目标前景像素的分类问题,具体研究内容如下:首先,改进传统的基于像素灰度的背景建模方法,提出了一种基于光流速度场的背景建模方法,得到场景中包含光流速度信息的运动前景像素;其次,提出了两种具体的多目标遮挡分割算法―分阶段K近邻遮挡分割算法与骨架点指派遮挡分割算法,将二值的运动前景像素分配给恰当的目标;最后,提出了一种利用时间序列信息补偿短时遮挡目标的遮挡补偿算法,采用多目标粒子滤波器跟踪框架对场景中目标进行跟踪。实验表明,通过遮挡分割与补偿,可获得更准确的目标信息,有效减少多目标跟踪过程中的误跟、漏跟、漂移等现象,提升跟踪鲁棒性。此外,开发了基于TI公司DSP处理器DM642的嵌入式视频监控系统,经算法移植与优化,实现了嵌入式环境下的遮挡处理与多目标跟踪,在智能安防领域得到广泛应用,产生了实际的应用价值。
本文主要工作与贡献如下:
1.在复杂场景多目标跟踪遮挡理论方面,给出了基于运动前景像素分类的遮挡处理问题形式化表达。借助贝叶斯理论,综合利用外观、颜色、运动、位置等信息,构造二值的运动前景像素对各跟踪目标的似然度函数,从而可依据最大后验概率准则,完成运动前景像素的分类。
2.在复杂场景多目标跟踪遮挡算法设计方面,提出了两种具体的遮挡分割与补偿算法:
(1)针对多目标交互时的短时遮挡,提出了一种分阶段K近邻遮挡分割算法:使用基于光流速度场的背景建模方法,获得运动前景像素及其光流速度;构造目标的局部光流速度概率直方图,并依据此运动统计信息在粗分类阶段将运动前景像素分配给相应目标;定义基于外观与颜色的像素距离,借助K近邻分类对粗分类阶段无法判定的像素进行遮挡分割。实验结果表明,该算法能够有效利用运动统计信息,降低遮挡干扰,减少多目标跟踪的误跟及漂移。
(2)针对非刚性目标间交互产生的遮挡,提出了一种基于骨架点指派的遮挡分割与补偿算法:综合光流特征点与SURF(Speeded Up Robust Features)特征点的优点,从图像中提取出目标骨架点集合;构造、定义了骨架点在连续图像序列中的匹配函数与状态转移矩阵,并以此为依据将其指派给相应目标;以完成指派的骨架点为核,对所有运动前景像素密集分类,完成了全部运动前景遮挡分割;利用历史信息对被遮挡目标丢失部分进行补偿,得到各目标更为准确的外观与运动前景像素。实验表明,骨架点能够反映目标结构特性,为遮挡处理提供了新的解决方法。
3.在复杂场景多目标跟踪遮挡应用方面:
(1)集成多种智能视频分析算法,完善了已有基于PC的算法测试与评价软件平台,设计并实现了灵活、可扩展性强的遮挡分割与补偿模块。能够便捷的验证与测试同类算法,为深入研究本文遮挡处理算法提供了有力的支撑。
(2)基于TI公司的DM642 DSP处理器,开发实现了嵌入式智能视频分析硬件系统。通过算法移植与优化,本文提出的复杂场景多目标跟踪中的遮挡算法与其他相关智能监控算法能够在嵌入式环境中高效稳定的运行,在智能视频监控领域得到了成功的应用,充分验证了本文工作。