论文部分内容阅读
随着全国各地智慧城市建设的快速发展,监控设备遍布城市的各个角落,随之而来的是海量的监控视频数据,因此迫切需要一个智能化的监控系统对海量的视频数据进行处理和分析。视频数据结构化是实现智能监控的关键技术之一,它包括了目标检测、多目标关联、目标结构化描述和结构化数据的存储与管理等技术。本文针对全景视频监控系统中一些关键技术开展了相关的研究与开发工作,主要包括多摄像机全景底图的更新、视频目标结构化以及结构化数据的管理。设计了一种全景视频监控中的底图更新方法,该方法分为图像配准和颜色校正两个步骤。其中图像配准由基于交互式的初略配准和基于互信息的精细化配准两个步骤组成。然后在课题组已有的颜色校正算法的基础上,设计了一种基于局部不变区域的颜色校正方法。最后设计并实现了全景视频监控底图更新软件。为了提取出视频中的有用信息,设计了一种基于深度学习目标检测的视频目标结构化数据提取方法。采用Yolo目标检测算法对视频中的目标进行检测。在此基础之上,设计了一种基于检测目标的多特征融合卡尔曼滤波关联方法,通过融合目标的分块颜色直方图、边界框尺寸和空间位置特征来计算目标之间的相似度,利用卡尔曼滤波算法预测目标的运动状态,最终构造出一个关联矩阵实现多目标的关联。在得到目标序列后,设计了一种结构化描述方案和一个用于存储这些结构化数据的数据库。基于上述目标结构化数据提取方法,设计并实现了全景视频监控中视频结构化计算模块。首先利用FFmpeg开源框架实现了H.264格式的视频流的解码和格式转换;其次采用生产者和消费者模式实现了目标结构化数据的提取;基于HTTP协议实现了目标结构化数据的入库。为了统一管理目标的结构化数据,采用Django开源框架并配合Nginx和uWSGI实现了符合RESTful设计风格的后端服务器,各个计算节点可以通过URI的方式向服务器请求资源。为了方便用户对数据进行管理,设计并实现了一个Web客户端。