基于视频的目标跟踪与识别技术是计算机视觉的主要研究方向之一,是诸如智能监控、人机交互、地形导航及视频智能标注检索等应用的基础和关键技术,是实现“智慧城市”、“平安城市”的重要手段,具有重要的理论研究与实际应用价值。然而,自然非受控条件下获取的视频中,环境复杂多变,对其中各类目标跟踪识别带来诸多挑战。针对各种复杂场景及不同目标,如何设计实现效率高、鲁棒性好、实时性强的目标跟踪识别技术仍然是当今业界研究的热点及难点。鉴于此认识,本文立足于前人一系列优秀成果,启发于人类自身视觉系统完美的目标发现跟踪与识别机制,主要针对视频中人体目标的跟踪与识别问题展开了深入的研究,取得的创新性成果如下:1.针对目标样本稀缺,致使目标特征初始不充分,抑或目标原有特征易被遮挡、伪装,甚或因时光荏苒而逐渐灭失消亡,从而导致目标已知特征数据逐渐失效,如此种种,最终导致目标跟踪识别效率极低,提出了一种基于单样本的自主在线的目标特征学习及更新算法(One Sample Based Autonomous Online Features Learning and Updating Algorithm,FLUA)。算法首先基于目标单样本获取的局部特征,对视频中目标的相似视图区域进行识别定位,尔后根据视频帧之间静态特征点的值、分布及其运动一致性等多重匹配的校验,在线学习更新目标新特征,一旦目标新特征得到确认,立即作用于随后的目标跟踪识别及其特征学习更新过程。实验结果表明,本章提出的FLUA算法无需大量目标样本图像,无需事先大量训练,纵然在单样本情形下,特征学习获取效果依然显著,有效的提高了目标跟踪过程的效率。特征学习无需复杂的迭代求解过程,更新速度快,能够满足跟踪系统实时性要求。2.针对人体目标头部姿态抑或脸部表情等变化、脸部化妆抑或伪装等等严重影响目标人脸部图像的跟踪获取,从而对基于人脸的目标跟踪与识别等应用系统产生极为不利的影响,提出了一种基于人体模糊跟踪的人脸跟踪获取算法(Human Body Fuzzy Tracking Based Face Tracking and Capturing Algorithm,B-FTC)。算法首先根据目标身体各肢体部分特征及运动一致性匹配跟踪定位目标的身体,尔后根据目标头部与身体的位置及运动相关性定位获取目标的脸部图像。在对目标身体跟踪识别的同时,引入了在线特征学习更新机制以应对目标的外观特征的逐步变化。实验结果证明,该算法对目标头部姿态、镜头视角、脸部表情等等变化,以及脸部局部遮挡、化妆、伪装等等不利因素具有完全的鲁棒性,同时具有极好的脸部跟踪获取及归属分类效果,在自然监控视频及四川变脸表演视频中,对目标脸部图像的跟踪获取率都在90%以上,正确率几近达到100%。3.针对监控视频不同于生活摄影,其中人物脸部表情及头部动作较多自然变化,获取的脸部图像多以不同视角的‘表情碎片’形式存在,从而导致基于正面或近正面表情平静的人脸识别算法失效,本文提出了一套可以相当程度免疫于头部姿态、表情、光线等诸多变化以及部分遮挡等不利情形下,N:M的video-to-video人脸自动识别算法(Space and Expression Double Weighted based Video-to-Video Face Recognition,SEDW-2VFR)。算法首先根据脸部碎片特征点的值、分布的双重匹配及其运动变换的误差大小对基准视频中跟踪获取的目标脸部碎片图像进行区域及表情的双重分类,对基准目标的每一脸部图像类集进行特征投影矩阵的生成及特征的提取,而后对待测视频中跟踪获取的目标人脸部碎片进行在线分权2D-PCA识别。实验表明,该算法对头部姿态及表情等变化具有很强的鲁棒性,在自然条件下的生活视频中,目标跟踪识别率依然达到90%以上。4.针对大多数现有步态识别算法预设条件苛刻,其中步态表示、提取及比对过程复杂,计算量大,识别效果差,提出了一种基于肢体区域及步态周期双重区分的步态特征异步提取,同步分权融合的2D-PCA步态识别算法(Limbs and Gait Period Double Distinguished Feature Asynchronous Extraction and Synchronous Weighted Fusion Based Gait Recognition,FAESWF-GR)。算法首先对基准目标各肢体部分进行异步特征提取,并根据步态特征周期的长度进行归类和‘时间片’划分,而后采用2D-PCA算法对不同周期长度的步态特征‘时间片’子集进行特征投影矩阵生成及特征提取,然后对待识别目标肢体各部分进行在线的步态周期特征提取及时间片划分,同时进行同步与分权相融合的2D-PCA步态识别。实验表明,算法的步态特征异步提取机制具备了对视频中身体局部碎片图像进行特征提取的能力,从而使算法对身体的视角、姿态、焦距的变化及身体的局部遮挡等等都具有了极强的鲁棒性。另外,算法的同步与分权相融合的综合比对机制中肢体各部分特征权重可调,从而使算法能针对不同情形对肢体各部分特征赋予不同权重,极易体现肢体各部分在不同情形下步态的整体性及权重的差异性,很好适应自然条件下视频中目标人身体及其所处环境的各种复杂变化,取得较高识别率。