论文部分内容阅读
【摘要】平安城市视频监控系统是基于数字化、网络化、高清化、智能化、云计算、物联网等先进技术，面向城市级的高清数字视频监控管理应用系统。系统在逻辑上划分为前端监控点建设、视频传输网络系统建设、视频存储系统建设、视频综合管理应用平台建设四部分组成。本文主要介绍视频存储系统建设部分。
【关键词】平安城市;云计算;高清数字
1.引言
平安城市建设从“科技强警”战略和“3111”试点工程两大项目开始，目前全国范围内都在建设平安城市，2013年2月启动合肥市视频监控系统建设项目，建设数字化、网络化、智能化、方便扩容和全市共享的视频监控系统。
2.平安城市视频存储系统建设
2.1 视频存储技术简介
视频存储系统承担这整网的实时存储和转发的功能。业内技术基本可以分为三类技术：DVR技术、SAN技术和网络视频云存储技术。
早期视频监控系统的方案主要以DVR为核心的方案为主，但是随着监控系统的网络化和存储数据的海量化，技术上的劣势导致信息系统因为各厂家设备互通性差出现信息孤岛、设备设计无法满足因出现治安事件暴增的快速数据查询、设备相对独立无法统一管理视频数据等不适应大型网络部署的问题逐渐显现。
采用流媒体技术作为核心的高性能的存储转发服务器为系统提供了强大的媒体流转发能力，可以满足巨大的客户端访问量。专业的SAN存储系统，为海量存储提供了巨大的空间。由于技术的局限性，前期大型网络较多采用服务器+IP SAN存储阵列的方式，部署采用集中方式和分布式方式实现，虽然解决了DVR存储产生的维护、安全等各方面问题，实现了视频的集中存储、管理及调度。
但传统的服务器+IPSAN的存储构架，一般基于通用服务器、存储、监控平台软件堆砌而成。大量的服务器和IPSAN组成的系统，隐含故障点多，效率低，安全性差，导致建设以及运行维护成本高;并且无法满足后续扩展视频智能分析业务功能的加载。
云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
（1）网络视频云存储构架的技术优势
系统安全性高。采用集成流媒体业务软件方式工作，减少隐含故障点，提升系统安全性;采用N+0技术进行冗余保护，即不需要增加额外设备即可实现设备间的冗余保护，保证业务不中断;采用针对视频业务的存储优化，在Raid组中多块磁盘故障的情况下，数据可阅览而非数据全部丢失。
系统效率高。采用集成设计，省去服务器与存储间不必要的数据iSCSI封装，千兆端口的利用率理论上达到100%;通过云计算技术整合系统所有计算资源，统一服务，系统效率高;采用从磁盘到系统的针对性设计，有效避免磁盘碎片，系统存储和检索效率高，符合海量视频监控系统的业务需要。
（2）系统部署结构简单，易维护，易管理，易使用
视频业务功能扩展能力强。后续视频业务智能分析功能的扩展，因其针对视频业务设计，可快速集成。通过云技术整合剩余计算资源，满足前端智能分析的业务需求，降低设备投入。
多样化接入。网络视频云存储系统可以通过网络接口接入标清/高清网络数字视频，也可以通过模拟接口扩展卡接入模拟视频，可以满足目前业内所有视频类型的接入。
系统TCO低。相对与服务器+IP SAN架构，节省了大量的服务器采购成本。由于结构简单，隐含故障点少，故障定位简洁，维护简便，可以节约大量的运维成本。
视频数据安全。前端编码器直写存储，具备断网本地存储，网络恢复重传中心存储的机制，有效保护视频的可靠性;设备宕机，系统自动调整相应的摄像机接入其它云存储单元，有效的保护视频数据不丢失;系统设置严密的数据管理权限机制，保证存储的数据安全可靠等。
绿色节能。由于采用专有网络视频云存储单元，可以实现有效的用电成本节约，节能效果明显。
通过技术分析可以发现，基于云计算、云存储技术构建的网络视频云存储系统则更适合行业客户，在保证存储的基础上满足客户端的访问需求的同时，采用分布式或者分布集中式部署，提升系统安全性、提升监控业务效率、提升系统扩展性，从而实现结构简单，易维护，易管理，易使用的特性，最大程度上降低系统建设成本，节约投资。
2.2 平安合肥存储技术构建
平安合肥项目中存储系统建设采用的就是基于IP网络和视频监控业务特性，利用集群技术将网络中多台存储设备高度紧密组合构成单一网络存储系统，满足公安业务对视频、图像和资料的存储要求，旨在为公安行业提供高可靠、高可用性、高伸缩、易扩展的端到端视频存储解决方案。
图1 层次结构图
2.2.1 逻辑结构
系统网络视频云存储服务解决方案按照自下而上可划分为几个层次：存储单元层、集群云调度层、视频监控应用层和前端设备层。另外，通过管理系统实现存储单元管理和监控管理。其层次结构如图1所示。
（1）存储单元层
存储单元层主要是指网络视频云存储中的网络视频云存储单元。网络视频云存储单元是针对云存储和视频监控数据的业务特性进行设计，集成视频监控系统软件，实现视频数据的存储和转发。
（2）集群云调度层
集群云调度层主要对存储单元设备进行业务调度，根据各单元状况调整设备业务负荷，同时在单元设备故障时将故障单元设备承载的业务切换到其他单元设备。
（3）视频监控应用层
视频监控应用层提供具体的视频监控业务应用，包括业务控制、业务管理、媒体存储转发和智能分析等，同时支持第三方的设备、监控平台或者行业业务平台对接。 （4）前端设备层
前端设备层主要包括视频编码器、DVR、IP摄像机等设备，用于采集视音频信息，实现数字化后传输到视频监控应用层。
（5）管理系统
管理系统主要对存储单元设备资源进行统一管理，并实时监控存储设备资源的运行状态，可实现云存储单元的故障转移和自动恢复，并支持自动集群实现快速部署。
2.2.2 硬件部署（如图2所示）
图2 硬件部署图
存储设备主要部署在各个派出所，每个派出所构成存储云，提供云存储服务视频云存储节点系统可启用云化集群工作模式进行高可用保护，保证单台视频云存储节点设备宕机的情况下，迅速由其它视频云存储节点设备接管它的工作。
（1）弹性伸缩
视频监控综合管理平台可以对3台以上节点设备进行云化部署，用户可以简单地在管理平台将需要云化的节点设备列为集群成员，转变为集群模式。当业务系统持续扩大后，可以继续向集群中增加节点设备。当业务量较少，业务节点负载较轻时，可以适当缩减集群节点数量，退出集群的节点所承担的业务可以自动切换到其他集群节点上，不影响业务正常处理。
（2）均衡处理
在启用云化集群功能后，集群内的视频云存储节点设备可以提供负载均衡服务。所有的写压力将会自动的分担到所有的视频云存储节点设备上。存储云会智能地选择出最优的负载分配策略，在保证每台机器承担的业务负载不超过其能力极限的同时，尽量令各台机器的业务压力平均。
调度算法同时根据每台成员的软硬件配置，智能分配业务压力，配置好的机器会承担更多的业务压力。在视频云存储节点内部，多个RAID组之间，当某个RAID组工作压力较大时，节点设备可分配若干数据流到另一较轻松的RAID组中。实现RAID组级负载均衡。
以媒体存储转发为例，流媒体存储转发请求发生时，系统可以自动将任务交给负载最轻的计算节点处理。
当集群增加新的流媒体转发计算节点时，视频监控综合管理平台可以自动平衡集群成员目前所接的分析任务，实现负载均衡。
图3
该特性可用于后期派出所摄像头增加时的平滑扩容，存储节点的增加不会影响现有业务的正常使用。随着前端监控点的逐步增加，当前端数量及存储转发业务量达到现有设备上限时，增加一台存储节点设备，其业务会自动再次进行平均分配到所有的存储节点上，实现业务的平滑扩容。
平台具备自动故障检测和转移恢复能力，平台实时收集各节点工作状态，当检测到某节点故障时，可以快速调度集群内其他节点接管其业务，保证业务正常运转。
例如，视频监控综合管理平台自动检测当前集群中各计算节点的运行状态，当发现某个节点设备发生故障时，系统自动将分配到该节点的处理任务转移到其他正常的计算节点设备上，确保单节点的故障不会影响整体业务的正常运行。
图4
采用N+0集群策略，当派出所某个存储节点宕机（如断电或接入网络故障），该车站前端监控点的录像、流媒体转发业务会按照负载均衡的方式由事先配置的其他车站存储节点承担，保证录像不会中断。当该派出所存储节点恢复后，本存储节点的前端摄像机自动切回该存储节点管理。
2.2.3 分级存储
计算机系统中普遍存在一个2/8定律，这个定律也同样在数据存储系统中有效，根据大量的调查数据以及经验数据表明，存储设备中保存的数据只有20%左右是被用户经常读取的，而且80%左右的数据很少甚至不被用户访问。这意味着，对保存在存储设备中的数据，20%的数据应该经常能够为用户提供快速、高效的访问能力，而对剩余的80%的数据，则至需要能够为用户提供及时的访问而不需要提供高效的访问效率。根据这样的特性，为了最优化使用存储设备，对不同的级别的数据分级存储
分级存储管理方案基于是三个重要的功能：备份、归档和迁移。
备份：是指存储设备上的数据定时或按一定策略拷贝到备份介质上。
归档：是指将重要的数据转移到某种介质上长期保存。
迁移：是指将存储设备上的数据拷贝到二级存储设备上，在原存储设备上保留占位符并释放空间。
平安合肥存储系统分为三级存储：一级存储单元、二级存储单元和基本存储单元。
（1）基础存储单元：实现对前端所有监控点进行7×24小时录像，录像文件存储30天。同时按需转发实时视频流到授权客户端和电视墙系统。
（2）二级存储单元：通过内置的备份管理功能。设置一定规则对下层基础视频云存储单元系统进行标注信息的视频进行数据备份，通过设置视频归档留存期，实现针对视频的不同保存方式：在全量录像存储时长内，全量保存录像，超过全量录像存储时长后。按照告警录像留存期进行存储。超过告警录像存储时长后，按照关键帧留存期的方式进行存储。超过关键帧存储时长，删除关键帧录像。
（3）一级存储单元：部署在市局公安网，对涉案证据的采集、存储、管理、研判，通过规范证据的管理和使用流程，协助进行案件的侦破、串案并案调查分析、案事件研判等公安业务。通过定义及下发策略，采集与归档联网监控系统的价值视频，同时对非联网的视频来源，支持手动采集后上传，长期将这些数据归档在平安城市视频云平台上，按照案件维度进行统一管理和共享。
【关键词】平安城市;云计算;高清数字
1.引言
平安城市建设从“科技强警”战略和“3111”试点工程两大项目开始，目前全国范围内都在建设平安城市，2013年2月启动合肥市视频监控系统建设项目，建设数字化、网络化、智能化、方便扩容和全市共享的视频监控系统。
2.平安城市视频存储系统建设
2.1 视频存储技术简介
视频存储系统承担这整网的实时存储和转发的功能。业内技术基本可以分为三类技术：DVR技术、SAN技术和网络视频云存储技术。
早期视频监控系统的方案主要以DVR为核心的方案为主，但是随着监控系统的网络化和存储数据的海量化，技术上的劣势导致信息系统因为各厂家设备互通性差出现信息孤岛、设备设计无法满足因出现治安事件暴增的快速数据查询、设备相对独立无法统一管理视频数据等不适应大型网络部署的问题逐渐显现。
采用流媒体技术作为核心的高性能的存储转发服务器为系统提供了强大的媒体流转发能力，可以满足巨大的客户端访问量。专业的SAN存储系统，为海量存储提供了巨大的空间。由于技术的局限性，前期大型网络较多采用服务器+IP SAN存储阵列的方式，部署采用集中方式和分布式方式实现，虽然解决了DVR存储产生的维护、安全等各方面问题，实现了视频的集中存储、管理及调度。
但传统的服务器+IPSAN的存储构架，一般基于通用服务器、存储、监控平台软件堆砌而成。大量的服务器和IPSAN组成的系统，隐含故障点多，效率低，安全性差，导致建设以及运行维护成本高;并且无法满足后续扩展视频智能分析业务功能的加载。
云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
（1）网络视频云存储构架的技术优势
系统安全性高。采用集成流媒体业务软件方式工作，减少隐含故障点，提升系统安全性;采用N+0技术进行冗余保护，即不需要增加额外设备即可实现设备间的冗余保护，保证业务不中断;采用针对视频业务的存储优化，在Raid组中多块磁盘故障的情况下，数据可阅览而非数据全部丢失。
系统效率高。采用集成设计，省去服务器与存储间不必要的数据iSCSI封装，千兆端口的利用率理论上达到100%;通过云计算技术整合系统所有计算资源，统一服务，系统效率高;采用从磁盘到系统的针对性设计，有效避免磁盘碎片，系统存储和检索效率高，符合海量视频监控系统的业务需要。
（2）系统部署结构简单，易维护，易管理，易使用
视频业务功能扩展能力强。后续视频业务智能分析功能的扩展，因其针对视频业务设计，可快速集成。通过云技术整合剩余计算资源，满足前端智能分析的业务需求，降低设备投入。
多样化接入。网络视频云存储系统可以通过网络接口接入标清/高清网络数字视频，也可以通过模拟接口扩展卡接入模拟视频，可以满足目前业内所有视频类型的接入。
系统TCO低。相对与服务器+IP SAN架构，节省了大量的服务器采购成本。由于结构简单，隐含故障点少，故障定位简洁，维护简便，可以节约大量的运维成本。
视频数据安全。前端编码器直写存储，具备断网本地存储，网络恢复重传中心存储的机制，有效保护视频的可靠性;设备宕机，系统自动调整相应的摄像机接入其它云存储单元，有效的保护视频数据不丢失;系统设置严密的数据管理权限机制，保证存储的数据安全可靠等。
绿色节能。由于采用专有网络视频云存储单元，可以实现有效的用电成本节约，节能效果明显。
通过技术分析可以发现，基于云计算、云存储技术构建的网络视频云存储系统则更适合行业客户，在保证存储的基础上满足客户端的访问需求的同时，采用分布式或者分布集中式部署，提升系统安全性、提升监控业务效率、提升系统扩展性，从而实现结构简单，易维护，易管理，易使用的特性，最大程度上降低系统建设成本，节约投资。
2.2 平安合肥存储技术构建
平安合肥项目中存储系统建设采用的就是基于IP网络和视频监控业务特性，利用集群技术将网络中多台存储设备高度紧密组合构成单一网络存储系统，满足公安业务对视频、图像和资料的存储要求，旨在为公安行业提供高可靠、高可用性、高伸缩、易扩展的端到端视频存储解决方案。
图1 层次结构图
2.2.1 逻辑结构
系统网络视频云存储服务解决方案按照自下而上可划分为几个层次：存储单元层、集群云调度层、视频监控应用层和前端设备层。另外，通过管理系统实现存储单元管理和监控管理。其层次结构如图1所示。
（1）存储单元层
存储单元层主要是指网络视频云存储中的网络视频云存储单元。网络视频云存储单元是针对云存储和视频监控数据的业务特性进行设计，集成视频监控系统软件，实现视频数据的存储和转发。
（2）集群云调度层
集群云调度层主要对存储单元设备进行业务调度，根据各单元状况调整设备业务负荷，同时在单元设备故障时将故障单元设备承载的业务切换到其他单元设备。
（3）视频监控应用层
视频监控应用层提供具体的视频监控业务应用，包括业务控制、业务管理、媒体存储转发和智能分析等，同时支持第三方的设备、监控平台或者行业业务平台对接。 （4）前端设备层
前端设备层主要包括视频编码器、DVR、IP摄像机等设备，用于采集视音频信息，实现数字化后传输到视频监控应用层。
（5）管理系统
管理系统主要对存储单元设备资源进行统一管理，并实时监控存储设备资源的运行状态，可实现云存储单元的故障转移和自动恢复，并支持自动集群实现快速部署。
2.2.2 硬件部署（如图2所示）
图2 硬件部署图
存储设备主要部署在各个派出所，每个派出所构成存储云，提供云存储服务视频云存储节点系统可启用云化集群工作模式进行高可用保护，保证单台视频云存储节点设备宕机的情况下，迅速由其它视频云存储节点设备接管它的工作。
（1）弹性伸缩
视频监控综合管理平台可以对3台以上节点设备进行云化部署，用户可以简单地在管理平台将需要云化的节点设备列为集群成员，转变为集群模式。当业务系统持续扩大后，可以继续向集群中增加节点设备。当业务量较少，业务节点负载较轻时，可以适当缩减集群节点数量，退出集群的节点所承担的业务可以自动切换到其他集群节点上，不影响业务正常处理。
（2）均衡处理
在启用云化集群功能后，集群内的视频云存储节点设备可以提供负载均衡服务。所有的写压力将会自动的分担到所有的视频云存储节点设备上。存储云会智能地选择出最优的负载分配策略，在保证每台机器承担的业务负载不超过其能力极限的同时，尽量令各台机器的业务压力平均。
调度算法同时根据每台成员的软硬件配置，智能分配业务压力，配置好的机器会承担更多的业务压力。在视频云存储节点内部，多个RAID组之间，当某个RAID组工作压力较大时，节点设备可分配若干数据流到另一较轻松的RAID组中。实现RAID组级负载均衡。
以媒体存储转发为例，流媒体存储转发请求发生时，系统可以自动将任务交给负载最轻的计算节点处理。
当集群增加新的流媒体转发计算节点时，视频监控综合管理平台可以自动平衡集群成员目前所接的分析任务，实现负载均衡。
图3
该特性可用于后期派出所摄像头增加时的平滑扩容，存储节点的增加不会影响现有业务的正常使用。随着前端监控点的逐步增加，当前端数量及存储转发业务量达到现有设备上限时，增加一台存储节点设备，其业务会自动再次进行平均分配到所有的存储节点上，实现业务的平滑扩容。
平台具备自动故障检测和转移恢复能力，平台实时收集各节点工作状态，当检测到某节点故障时，可以快速调度集群内其他节点接管其业务，保证业务正常运转。
例如，视频监控综合管理平台自动检测当前集群中各计算节点的运行状态，当发现某个节点设备发生故障时，系统自动将分配到该节点的处理任务转移到其他正常的计算节点设备上，确保单节点的故障不会影响整体业务的正常运行。
图4
采用N+0集群策略，当派出所某个存储节点宕机（如断电或接入网络故障），该车站前端监控点的录像、流媒体转发业务会按照负载均衡的方式由事先配置的其他车站存储节点承担，保证录像不会中断。当该派出所存储节点恢复后，本存储节点的前端摄像机自动切回该存储节点管理。
2.2.3 分级存储
计算机系统中普遍存在一个2/8定律，这个定律也同样在数据存储系统中有效，根据大量的调查数据以及经验数据表明，存储设备中保存的数据只有20%左右是被用户经常读取的，而且80%左右的数据很少甚至不被用户访问。这意味着，对保存在存储设备中的数据，20%的数据应该经常能够为用户提供快速、高效的访问能力，而对剩余的80%的数据，则至需要能够为用户提供及时的访问而不需要提供高效的访问效率。根据这样的特性，为了最优化使用存储设备，对不同的级别的数据分级存储
分级存储管理方案基于是三个重要的功能：备份、归档和迁移。
备份：是指存储设备上的数据定时或按一定策略拷贝到备份介质上。
归档：是指将重要的数据转移到某种介质上长期保存。
迁移：是指将存储设备上的数据拷贝到二级存储设备上，在原存储设备上保留占位符并释放空间。
平安合肥存储系统分为三级存储：一级存储单元、二级存储单元和基本存储单元。
（1）基础存储单元：实现对前端所有监控点进行7×24小时录像，录像文件存储30天。同时按需转发实时视频流到授权客户端和电视墙系统。
（2）二级存储单元：通过内置的备份管理功能。设置一定规则对下层基础视频云存储单元系统进行标注信息的视频进行数据备份，通过设置视频归档留存期，实现针对视频的不同保存方式：在全量录像存储时长内，全量保存录像，超过全量录像存储时长后。按照告警录像留存期进行存储。超过告警录像存储时长后，按照关键帧留存期的方式进行存储。超过关键帧存储时长，删除关键帧录像。
（3）一级存储单元：部署在市局公安网，对涉案证据的采集、存储、管理、研判，通过规范证据的管理和使用流程，协助进行案件的侦破、串案并案调查分析、案事件研判等公安业务。通过定义及下发策略，采集与归档联网监控系统的价值视频，同时对非联网的视频来源，支持手动采集后上传，长期将这些数据归档在平安城市视频云平台上，按照案件维度进行统一管理和共享。