行人跟踪是计算视觉和模式识别领域中一个重要的研究方向,其具体过程可以分为先对行人检测然后对行人身份进行识别,最后给出对行人的跟踪。整个过程中,因为行人的运动、遮挡、光线的影响,导致将行人从背景中区分出来存在一定的误差;行人身份的识别是行人重识别问题,其中包含特征的提取、特征相似度的比较,在这过程中存在鲁棒性差、准确率低等问题。因此行人的检测与跟踪具有很好的研究价值。本文主要的工作有两个方面:1.行人检测;2.行人跟踪。具体研究如下:行人检测方面,主要讨论了现有的Cascade R-CNN网络结构,包括特征提取网络、区域建议网络、ROI pooling、激活函数的选择。因为该网络本身就是Faster R-CNN的一种级联形式,本文设计了其中的参数,对于上述的这些网络模块进行了改进,特征提取模块使用插入SE网络的特征形式,区域建议模块固定的anchor的尺寸以适应行人这一固定类型的目标,在最后的输出中将多种尺度特征融合,采用ROI Align代替ROI pooling,最后采用KITTI数据集的数据制作VOC格式的数据,进行了模型的训练,并对其进行了测试。行人重识别方面,首先是对行人重识别研究的综述,然后是本文提出的一种行人重识别网络和行人跟踪模型结构,网络的特征提取模块使用的是Res Net50残差神经网络,整个网络中的特征融合采用的是两种特征融合法的结合,首先第一部分是直接提取图片整体特征,再将整体特征分割成2×4共8个部分,将整体特征和分割后的局部都进行降采样,将得到的部分特征与整体特征进行融合变成一个长特征向量;第二部分是直接将图片横向分割成三个部分,从上到下的比例分别为2:7:7,分别对每个部分进行特征提取,将提取的特征进行降采,然后融合成一个特征向量;整个模型是将第一部分得到的特征与第二部分得到的特征进行融合作为整体特征,损失函数使用的是多损失函数策略,结合了便签平滑损失函数和排序表损失函数。在行人重识别网络中还引入了行人身份存储模块,用来匹配更新行人的信息。网络的初始化和训练使用的是Mark1501数据集,在MOT16数据集进行了验证,同时比较了引入本文不同部分特征的对比结果。本文开发了一套行人检测与跟踪系统。系统中包含用户登录界面、分功能选择界面、单目标行人检测界面、多目标行人检测界面、单目行人跟踪界面、多目标行人跟踪界面,共四部分功能。并附上了功能实现的部分截图展示。