基于人工智能视频监控系统的出现改变了传统视频监控模式,在一定程度上为视频监控的发展提供了更加广阔的展示舞台。尽管智能分析功能强大,但由于采用传统的非智能算法进行开发,其灵敏度、准确性和适应性无法令人满意。另外,现实场景的复杂性使得我们对智能监控处理算法性能指标要求越来越高。本文针对现有研究的不足,设计了一个新颖的基于深度学习的智能视频分析系统,在合作企业的多个交通监控和边海防项目中得到实际应用,本文的主要贡献和创新点如下:（1）本文提出一种结合H-Yolov5和DeepSORT的目标跟踪算法。考虑到系统在高空俯视角度下准确率较低的问题,构建了专用数据集,对现有的Yolov5权重模型进行了适应性训练,得到改进后的H-Yolov5模型,将m AP（mean Average Precision）从89.1%提高到了93.2%。基于提出H-Yolov5模型为了实时解决物体被遮挡的问题,提出DeepSORT算法进行目标跟踪。根据实际应用测试,所设计的目标跟踪算法可以很好地适用于智能视频监控场景。（2）本文提出了基于时间判断的徘徊检测算法TJ-WDA和基于两向量夹角关系的逆行检测算法AV-RDA。首先,考虑到在监测异常运动事件时,可能出现运动目标活动范围很小、站着不动等特殊的徘徊行为,提出一种对逗留时间分析的TJ-WDA徘徊检测算法,从而更好的适应运动轨迹经常发生变化的事件。其次,为了检测出横向、纵向等其他任意方向上的逆行运动事件,本文提出基于目标移动向量和基本方向向量间夹角关系来定义逆行分析规则的AV-RDA逆行检测算法,从而更好的适应运动方向经常发生变化的事件。根据后续测试表明,所提出的徘徊检测算法和逆行检测算法可以适应于多角度、多场景下的异常运动事件监测。（3）本文提出了图像增强和全景拼接智能分析方法。为了改善图像质量,增强在雾霾天气、下雨天和晚上时视频图像的可读性,分别基于物理模型分析和伽马变换实现了系统实时去雾及对比度增强功能。并基于SIFT的特征检测算法进行特征匹配,实现了全景拼接的智能功能,可用于系统对周围地形及环境的勘测。测试表明,所实现的图像增强可以满足智能分析的实时性和高质量要求,全景拼接后的图片没有裂缝和鬼影,完全满足众多领域高精度、广阔视角的全景图像拼接要求。总得来说,本文开发了智能视频分析系统原型,具备实时追踪运动目标,对徘徊、逆行、聚集、入侵、越界等异常行为监测与报警,图像增强和全景拼接等四大智能分析功能,已在交通人群监控工程和边海防项目中得到了很好的应用,获得用户认可,产生良好的经济效益。