量测大集信息的无损云压缩与仓库存储研究

被引量 : 0次 | 上传用户:bigwbiso
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络规模扩容和智能设备的应用,智能配电网正迈向能量与信息互动,海量信息处理和智能调度方向发展,某些工业配电网量测点剧增、模拟量变化快,波动幅度大等特性尤为突出,这些信息在调度监控系统的显示处理中需要不断进行信息存取,长期运行将产生大数据集信息,海量信息不仅是信息传输交互的障碍,也将影响到应用信息的查询处理,直接针对海量大数据集信息进行存取处理,容易使信息延迟、存取速度慢,不仅影响系统实时性,严重时甚至造成关键信息的迟报或漏报,导致报警延迟或消失,直接威胁安全调度和实时控制。量测大集信息的有效处理已成为配电网自动化的关键技术问题之一。所以需要对大数据集信息研究有效的存储和压缩处理技术。本课题针对铁道电网调度海量信息流的实时存储和压缩处理进行研究,采用新的Hadoop云计算及Hive数据仓库框架技术对海量信息进行分布式云存取和集群压缩处理,解决电力调度信息流存储困难问题,旨在确保调度安全和供电可靠性。本课题针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,进一步结合数据仓库Hive框架技术,提出了一种基于云架构的分布式集群无损压缩新方法。首先利用公共信息的关联关系,建立调度监控的公共信息对象实体及其关键数据业务信息流,解决海量关键数据业务信息集成问题;然后研究和比较目前四种主流无损压缩算法差异性,利用云计算节点的网络配置方式部署调度主机和监控服务器的集群环境,在集群数据节点中融入无损压缩格式,建立调度监控信息的集群无损压缩实验环境。将Deflate、GZip、BZip2和Lzo四类无损压缩编码融入Map/Reduce云计算任务,利用调度端的断面量测记录集进行测试研究。以调度监控系统中的量测值存取为例进行研究,结果表明:针对四种无损压缩格式,在断面记录超过3百万以上时,BZip2集群压缩效果更好,可达到约81.1%,通过逐步增加断面记录数,利用Hive数据仓库,使压缩比进一步达到约85%,因此,分布压缩方法适合在监控历史信息压缩处理中应用。相比而言,Lzo集群压缩速度快,约为BZip2的5倍,对500万记录数据的处理时间达28秒左右,即平均每秒能压缩17.8万个量测信息,满足工程应用中2s动态刷新量测数据的应用需求。
其他文献
随着社会经济的快速发展,新疆维吾尔自治区交通基础设施建设投入加大,农村交通基础设施有了明显改善,农村公路客运得到较快发展,农牧民出行难的问题得到了有效改善。由于新疆地域
城市是现代社会不断发展中所不可缺少的重要组成部分,面对世界经济全球化和信息化的机遇与挑战,城市在其自身发展中除了加强必要的“硬件”基础,还需要推动城市形象这一“软实力
<正> 枪管枪膛通过高速铰孔后,内表面的粗糙度达到了一定程度。按常规工艺,一般都是通过擦铅或衍磨来进一步提高枪膛表面质量,从而达到图样要求。但这两种工艺方法,一是需要
随着我国经济持续增长和人民生活水平的不断提高,外出旅游已经成为国人休闲放松的重要方式。人们的旅游消费观念开始由传统的、单一的观光旅游模式向多元化、综合性的观光度假
由于经济危机的影响,各个企业都在努力的寻找着顺利渡过甚至摆脱其影响的方法,从经济角度上考虑,很多公司有针对性的采取了策略,有的选择裁员,有着则是减少生产来减少商品积压。但
在我国的城市中,污水处理是非常重要的环节,其对城市的运转和居民的生活有着至关重要的作用。基于此,文章通过深入研究自动控制污水处理模式,对自动控制污水处理模式概述,对
在地铁运营管理工作中,如何加强通信设备管理、提高地铁通信设备维护水平、减少故障发生率,是保障地铁运营安全的关键之一。本文通过对西安地铁一、二号线通信系统设备运行情况
本文论述了证人证言的定义、特征和分类,并对证人证言在形成过程中所溶入的影响其证明力的因素进行了探讨.
1学校形象的重要意义1.1良好的学校形象是学校"推销"毕业生和吸引潜在生源的保证 从学校在我国人才培养工作流程中地位的变化看,在计划经济模式下,国家人才培养工作流程如图
虽然中国经济发展取得巨大成就,但其可持续发展却受到农业发展深层次矛盾的制约。农业投资属于长效过程,涉农公司有着其独特的一面,面临许多现实问题,比如进入门槛低、同业竞