基于NoSQL的海量交通视频监控数据存储与检索技术研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:gdmkhx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机视觉、模式识别和网络传输等相关计算机技术的不断发展,交通视频监控正在向着智能化、高清化、数字化和网络化方向发展,监控数据的存储也在由分散的前端存储转向控制中心后台集中存储,且用户对大量监控数据检索也提出了更高的性能要求。因此,当前视频监控系统面临的两个主要基本问题就是海量视频监控数据存储和大规模监控图像的快速检索问题。  本文在分析了当前解决方案在解决上述两问题优缺点的基础上,提出了新的技术解决方案,以解决视频监控在海量监控数据和大规模监控图像检索的问题。  在海量视频监控数据存储方面,基于NoSQL技术,结合Redis和MongoDB设计分布式存储系统。基于Redis实现分布式缓存系统,解决多路监控数据实时高速写入问题;同时,利用Redis有序集合实现基于内存的海量视频文件元信息索引,加快一定时间范围内的视频片段查找;基于MongoDB Shard机制和GridFS组件实现监控数据的分布式存储和灵活伸缩的存储架构,解决海量数据的存储和管理问题;同时,根据MongoDB固定集合的特性以及数据压缩功能,实现监控数据有效的生命周期管理,进一步提高了存储设备的性能。  在大规模监控图像检索方面,采用并行计算技术加速检索过程中的数据处理。本文结合了两种不同并行粒度的计算模型,分别完成大规模监控图像检索过程中不同阶段的任务。基于MongoDB MapReduce实现大规模监控图像的语义标签预处理,充分发挥集群节点的并行处理数据的能力;基于CUDA实现现有图像内容检索算法pHash的并行化,充分发挥GPU高性能并行计算能力,加快图像检索过程。  最后,搭建原型系统,针对本文对相关问题提出的解决思路,设计了相应的测试方案,并对测试结果进行了性能分析,实验证明,本文采用的技术解决方案在解决交通视频监控数据存储和大规模图像检索等方面取得了良好效果。
其他文献
如何在浩若烟海而又纷繁芜杂的文本信息中获取最有效的信息是信息处理的一大任务。文本自动分类是实现这个任务的重要方法之一。在文本分类过程中,由于同义词、多义词、近义
针对现有医学图像归档与通讯系统的服务器功能单一、用户响应慢、不支持远程访问等缺点,以及磁光盘的优良存储特性,设计并实现了一种新型的基于磁光盘的医学海量图像归档系统
随着网络和通信技术的发展,图像信息安全受到越来越多的重视,大量的图像加密和数字水印方案相继被提出。由于光学信息处理速度快、并行性高的特点,使得在图像加密方法中运用
本文针对并行数据库的查询优化处理领域,提出了一种基于Multi-Agent技术的语义查询模型(SQMAS),并以此模型为基础建立了一种基于Agent的并行数据库语义查询方法,同时为了保证系
数据挖掘技术是解决数据丰富而知识贫乏的有效途径,当属信息科学领域的前沿研究课题之一,有关的研究和应用极大提高了决策支持的能力,它已被公认为是数据库研究中一个极富应用前
随着Internet网络的发展,涌现了大量的新应用,如软件分发、视频会议、股市行情等都需要一对多或者多对多的可靠的组播通信,其潜在的接收者可能成千上万。与单播和广播技术相比,组
在日常生活中,网络技术的应用已渗透到各方面,信息泄漏事件频繁发生,给人们的人身和财产安全带来了巨大的危害。因此对信息的保护已成为各行各业亟待解决的问题。而安全风险评估
随着网络技术的不断发展,分布式系统得到了广泛的研究与应用。分布式系统采用并行计算模型。PRAM模型作为并行模型的一种,本文主要就PRAM模型应用于分布式同步机制的问题进行研
网格是人们为了满足不断攀升的计算能力需求而提出的一个全球性解决方案,与传统网络环境不同,网格中计算资源,用户都是动态的分布,网格环境中虚拟信任关系需要动态的创建和消
互连网络的性质对整个网络的性能起着决定性作用。然而,由于互连网络设计是一个多目标最优化问题,所以很难找到一种互连网络适合所有并行系统。因此已经有许多的互连网络被提出