图像处理技术的不断发展给各行各业带来了革命性的转变,其中视频监控就是其重要应用场景之一。监控设备所需求的行人身份识别、行为分析、闯入报警等功能均依赖于行人检测与跟踪技术,这使得该技术得到了广泛的关注和迅猛的发展。本文在调研国内外相关工作的基础上,对现有的基于图像序列的行人检测和跟踪算法进行了研究与改进。本文的主要研究内容如下:1.针对传统机器学习领域中的C4行人检测算法仅包含轮廓特征,无法充分描述行人外观,导致识别率低的问题,本文提出一种新的LUV颜色自相似特征,并将该颜色特征和CENTRIST特征相融合来描述行人,提升了检测算法在复杂场景下的表现;同时为了解决C4算法中多尺度特征提取计算量大,存在冗余的问题,结合一种快速多尺度特征近似算法对其进行优化。依据不同尺度图像间存在的幂指定律,通过构建稀疏金字塔来替代C4算法中的密集图像金字塔方法来实现行人目标的多尺度遍历检测,有效提升了检测算法效率。2.针对深度学习方法领域中的YOLOv3算法对图像中存在的小尺寸或被遮挡行人难以检测的问题,本文提出一种YOLOv3的改进算法RFB-YOLOv3。首先采用Kmeans++算法解决聚类行人先验框过程中的初始聚类中心的选择问题,获得更具代表性的先验框尺寸集合;同时进一步对YOLOv3模型结构进行优化,在预测层前加入感受野模块(RFB)替代原有简单叠加的卷积层集合,以融合不同大小的感受野,实现特征的有效提取;将ELU替代YOLOv3中的Leaky-Re LU作为激活函数,提升网络的抗噪性能。对比实验表明本文提出的RFB-YOLOv3较好的改善了小目标和遮挡问题,提高了行人检测的精确度,降低了行人检测的漏检率,算法更具鲁棒性。3.为了解决现有的核相关滤波器类跟踪算法中尺度解决方案效率低下的问题,提出了一种将尺度预测与尺度池方法相结合的优化方法。该方法通过统计目标历史尺度变化信息,预测未来尺度变化方向,进而划分尺度计算优先级,并利用相关滤波跟踪器的响应特性来确定目标尺度。实验表明,该方法能够实现对目标尺度的快速估计;同时为了提升跟踪器对行人简单运动及遮挡状况的处理能力,提出一种多决策的模型更新策略,联合最大响应值与平均峰值相关能量作为跟踪置信度指标,综合分析当前跟踪效果,判定跟踪模型是否应该进行更新。多方面提升了跟踪器的性能,高度的实时性和准确性为相关滤波类目标跟踪算法向嵌入式系统等低运算能力的开发板移植提供保障。