随着城镇化进程的加快,人口越来越集中,大型城市的治安成为目前社会亟待解决的关键问题,构建智慧城市安防体系刻不容缓。目前城市治安主要存在经费紧张、设备老旧、安防人员不足等问题导致无法有效及时地处理相关事件。随着深度学习领域近些年的高速发展,利用视频图像信息进行日常生活中人们的行为检测已经成为可能,于是在我国本身建设的监控安防系统基础上,利用相关程序结合摄像头采集的图像信息进行异常行为进行检测,及时有效地报告异常行为事件,为城市治安智能化、信息化提供了一种可行的方案。本文针对一般民用领域中行人的异常行为判断提出了一种以骨骼关键点检测为基础的异常行为识别方案。首先,通过图像预处理,将摄像头采集到的视频信息进行关键帧处理,把涉及到运动信息的片段进行分割提取,将关键视频片段进行图片转换,输入到训练好的人体关键点检测模型中,得到返回的人体关键点坐标,然后根据坐标信息构建出人体骨骼模型,从骨骼模型运动时的坐标变化中提取出人体各个关节的角度变化信息作为人体运动的高级特征。为了补充角度特征的不足,加入了骨骼运动的轨迹特征,通过将骨骼模型的各个骨骼段运动信息进行Hough变换后映射到参数空间进行运动轨迹的描述,让线段运动轨迹转换为点运动轨迹,将计算出来的角度特征和轨迹特征送入到LSTM网络中进行多模态特征融合。最后使用分类器进行异常行为的分类,根据分类的结果进行预警处理,实验结果表明该方案可以对多种异常行为进行有效识别。为了解决现有使用CPU+GPU方案进行模型计算时存在的功耗高,体积大,在复杂环境下难以工作等缺点,本文提出采用CPU+FPGA的模型部署方案,该方案需要将模型的各个结构在FPGA上进行重新搭建,使用硬件电路进行模型参数的计算。先利用CPU+GPU平台成熟的模型训练优势,得到效果较好的模型权重,将模型权重文件进行静态转换,模型优化等步骤后,把搭建好的模型结构配置文件写入FPGA设备,最后在CPU端进行FPGA设备调用,完成计算的加速。利用返回的模型计算结果进行后续的算法,最终完成分类。在CPU,CPU+GPU,CPU+FPGA三种平台上进行对比实验,实验表明在精度不受到较大影响且到达实时性要求的情况下,CPU+FPGA方案帧均功耗大大降低,设备体积也更小,适合复杂场景的使用。