随着视频监控系统的普及,深度学习的迅速发展以及计算机硬件性能的提升,实现自动化的异常行为检测具有重要的理论和实际应用的意义。异常行为检测通常由行人检测跟踪和行人异常行为识别两部分组成。在行人检测跟踪方面,目前单目标跟踪算法在某些行人场景中存在正确跟踪结果和错误跟踪结果之间切换的问题。在行人异常行为识别方面,目前的行人异常行为识别规则大都只使用单一特征进行判断。针对以上问题,本文做了以下改进:（1）在行人检测跟踪方面,本文提出了基于重识别的Siam RPN++算法（EmbeddingBased Siamese Region Proposal Network++,Em Siam RPN）,该算法利用重识别特征对候选跟踪预测进行重排序,有效缓解了跟踪结果在正确和错误之间切换问题。相比于卡尔曼滤波器需要手工设计关键参数,Em Siam RPN算法能够通过数据进行端到端训练,本文通过将Em Siam RPN算法嵌入到Fair MOT算法（Fairness Multi-Object Tracking,Fair MOT）中,提出了基于Em Siam RPN的多目标跟踪算法（Em Siam RPN-Based MultiObject Tracking,Em Siam MOT）,该算法无需手工设计参数,能够进行端到端训练。本文通过在MOT Challenge 2016数据集上的实验表明了所提算法的有效性。（2）在异常行为识别方面,利用Em Siam MOT算法的跟踪轨迹,本文使用基于三次样条插值的轨迹局部拟合方式分别构造多种单一行人和行人对轨迹特征。本文提出了基于分类函数和基于异常检测的徘徊行为识别规则,这两种规则分别利用分类函数和异常值检测算法,自动联合多种单一行人轨迹特征来识别徘徊行为。另外,本文提出了行人对匹配算法,该算法通过比较不同视频帧中行人对集合来更新行人对特征,使得抢夺行为识别规则适用于两行人以上场景中。本文通过在VOT-Private数据集上的实验表明了轨迹局部拟合方式的有效性。（3）本文提出了基于多目标跟踪的异常行为检测算法（Abnormal Behavior Detection Based on Multi-Object Tracking,ABDMOT）,该算法利用Em Siam MOT算法或Fair MOT算法检测跟踪视频中的行人,并利用本文所提出的徘徊行为和抢夺行为识别规则自动识别视频中行人的徘徊和抢夺行为。本文通过在CASIA-AR数据集和MOT-Private数据集上的实验表明了所提的ABDMOT算法具有一定效用。