针对传统人工值守的视频监控系统存在成本高、效率低和实时性差等问题,无法满足智能制造中对于作业人员的智能化监管,随着智能制造中的人员安全监管向着智能化的方向发展,但是其对算法的性能要求高。本文基于深度学习的目标检测和多目标跟踪技术对作业人员异常行为智能检测技术进行研究。通过对作业人员的异常行为进行智能检测,能够提升作业安全监管的效率,减少监管的成本,对构造一个智能化、有序化、高效化的智能化工厂有重要意义。为提高作业人员跟踪的实时性和算法的泛化能力,作业人员跟踪采用YOLOv3（You only look once）改进的目标检测算法YOLO＿PD与卡尔曼滤波跟踪算法融合的方式实现。对YOLOv3算法进行主干网络轻量化,增添浅层尺度检测层,添加4倍上采样特征融合结构,K-means先验框聚类改进。跟踪部分采用卡尔曼滤波算法预测目标位置,并运用马氏距离和结合深度表观特征的余弦距离作为目标关联度依据,采用包含匈牙利算法的级联匹配和IOU匹配完成作业人员的跟踪。实验表明,YOLO＿PD人员检测算法相比于YOLOv3检测准确率提高了4.4%,融合的跟踪算法对人员重叠、运动状态变化和密集情况鲁棒性高,同时跟踪实时性达到了30HZ。作业人员的异常行为检测包含安全帽佩戴检测和非法入侵检测。为提升安全帽佩戴检测算法的准确率和实时性,采用SSD（Single Shot Multi Box Detector）改进的SSD＿WD算法实现,对SSD算法替换轻量型卷积网络,引入特征金字塔结构改进,人员非法入侵检测运用人员检测跟踪的位置信息与警戒区域进行匹配计算实现。实验表明,SSD＿WD安全帽检测算法相比于SSD检测准确率提升了0.5%,检测速度达到108 FPS,并且完成了作业人员的入侵检测功能。针对作业人员异常行为智能检测技术的研究,本文采用PYQT5实现了原型系统的软件设计,并通过制作模拟测试视频集验证系统的可靠性和实时性,实验结果表明,智能视频检测原型系统具有一定的可靠性和实时性,对智能制造中的智能化作业安防值守有重要的意义。