论文部分内容阅读
视频监控系统的广泛应用,为城市的公共安全和发展提供了技术保障。近年来,随着“平安城市”等大规模视频监控系统的广泛部署,如何有效和可靠地存储视频数据成为系统中急需解决的问题。传统的视频监控系统通常采用集中式存储的架构,多台摄像机连接专用设备进行数据存储。在海量监控点和高清视频数据的场景下,传统的存储系统面临着性能、存储容量、数据可靠性和系统可扩展性的问题。因此,采用分布式存储系统作为视频监控的数据存储解决方案,成为了近年来的发展趋势。论文作者及所在团队通过对课题相关的分布式存储和文件系统原理、存储编码理论以及相关技术的学习和研究,设计并实现了一套分布式视频流存储系统。论文主要内容集中在作者在该系统中承担系统的设计、存储子系统实现和测试工作。作者设计了一套基于纠删码的数据存储框架,将视频流存储系统中的多副本机制替换为纠删码机制,通过多节点的数据放置策略,将编码后的数据进行分布式存储,提供了磁盘以及节点失效的容错性,并降低了存储空间的开销。与此同时,设计了一套存储节点调度机制,在满足写入性能和故障容忍的前提下,尽可能使最少的节点和磁盘处于工作状态,降低能耗。此外,通过数据缓冲策略和多路并发视频流调制机制,将磁盘的随机写入转换成连续写入,提高I/O吞吐率的同时减少磁盘损耗,使得单台节点能够支持更多数量的视频流存储。有效的元数据管理机制使得集群中的元数据管理可以在单个节点内完成,从而提供了良好的可扩展性,存储系统可以通过增加和删除存储节点的方式灵活的伸缩。最后,论文作者对该存储系统进行了功能测试和性能测试。功能测试结果表明,该系统能够满足视频流数据存储的需求,提供数据的存储、读取和容错。作者通过对性能测试的结果进行分析,认为该存储系统的吞吐率,存储空间效率等基本可以满足需求,并提出了部分可能的改进方案。