得益于物联网、人工智能与视频监控系统的快速进步,智能视频监控系统也随之被提出并广泛应用于安防行业。边境地区大多环境复杂,实地勘察存在一定的风险,使得智能视频监控系统成为边防官兵最常用的监察手段之一。但当前智能视频监控系统的厂家都是软硬件一体进行销售,算法更新不灵活。除此之外,当前智能视频监控系统仍使用传统目标追踪算法,需要用户手动框选目标,不具备复杂场景下的实用性。本文针对现有系统的缺陷以及边防场景下的越界、入侵、滞留、聚集、徘徊等异常行为,设计开发一套于深度学习的边防视频智能分析系统。本文的主要贡献如下:（1）本文设计并实现了一套具有目标异常行为检测和目标追踪功能的边防视频智能分析系统,通过目标检测和多目标跟踪区分出视频中不同的目标,实现对视频中不同的目标行为进行分析以及对异常目标的追踪。（2）本文提出一种目标异常行为分析算法,能有效检测出视频中存在越界、入侵、聚集、滞留、逆行、徘徊等异常行为的目标。（3）本文提出一种基于关注度的实时目标追踪算法,能够连续不断地跟踪选中的目标,并且能够随时更改跟踪的目标,解决当前的目标追踪算法无法追踪运动目标且无法随意更改追踪目标的问题。（4）本文提出一种基于多进程的筛帧算法,解决获取图片的速度比图片的处理速度快导致画面延迟的问题。本文设计的边防视频智能分析系统已应用于上海的海防与广西的边防哨所,并且能够达到较高的准确率。