基于OpenTSDB的能源管理系统并行架构研究

来源 :广东工业大学 | 被引量 : 2次 | 上传用户:soso2009520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
能源管理系统是制造业尤其是高耗能工业进行能源管理,生产监测的重要工具,为企业制定节能减排措施提供了理论和数据支撑。能源数据的采集频率决定着能源管理系统进行数据分析的精细粒度,高效的查询分析速度可以帮助企业管理人员及时发现能耗异常的出现,并采取相应的应对措施。而传统单点关系型数据库,在实际应用中表现出了明显的性能不足,将大数据技术与能源管理系统相结合是必然的趋势。本文就佛山某铝业在能源管理系统使用过程中遇到高频采集入库困难,历史能源数据查询分析响应过慢两个问题,提出相应的大数据解决方案,具体研究工作如下:1)研究能源管理系统的总体架构及逻辑,根据佛山某铝业当前使用的SqlServer数据库中表结构以及字段,对能耗数据进行特征分析;并根据数据库中当前数据量,预估高频采集之后的数据量大小。2)针对高频采集能源数据入库阻塞丢失的问题,设计一套异构数据库存储方案。原有的SqlServer数据库用来存储基础数据,高频采集,急速增长的能源数据,采用分布式存储系统来存储。并通过对比分析,选取了基于Hbase集群的时间序列数据库OpenTSDB,利用OpenTSDB高吞吐量,支持多TSD节点并行写入的特点,充分利用集群的处理能力,获取高速的写入能力,支持能源数据秒级采集入库,有效解决佛山某铝业能源数据存储问题。3)针对能源数据查询分析缓慢,采用Spark并行计算框架,来处理集群中存储的海量能源数据。为了提高Spark计算效率,使用一致性哈希算法对能源数据进行节点间的负载均衡,并使用Compressed Bloom Filter算法对无关数据进行过滤,减少节点之间网络传输代价,从而提升关联join操作的速度,能源数据查询分析速度得到数十倍提升。综合以上研究,从能源数据的高频采集存储到从海量能源数据快速查询分析,将大数据并行计算思想,融入了能源管理系统当中。并在最后进行了实验对比测试,较现有存储查询方案,性能提升明显,可以满足佛山某铝业高频秒级采集能源数据,以及查询分析快速响应的需求。
其他文献
1 FF链路活动调度器(LAS)及其功能概述  基金会现场总线(FF)是一种令牌总线,在每个总线段上都要求有一个且仅有一个链路活动调度器(link active scheduler,LAS),作为介质访问控制中
呼吸科重症患者常并发呼吸道、肺部真菌感染.给治疗带来一定的困难.也威胁患者的生命。为了寻求有效的预防方法,除合理应用抗生素,严格执行消毒隔离措施外,我们采用了5%苏打水对199
吉安地区的传统村落孕育了独具特色的庐陵文化,蕴藏着丰富的红色文化,对其进行保护与传承就是保护珍贵的历史文化和资源遗产。除传统的保护手段外,影像可以作为传统村落形象
善于使用物理教材,提高教材的使用质量,需要我们以严谨的态度理解教材的内涵,以科学的精神达成教材目标,以文化的视角呈现和升华教材的价值。完成从"教教材"转向"用教材教"再
本文论述了科技英语词汇的相关特点,并针对这些具体特点探索相应的翻译技巧和方法。
针对特种车辆传动箱螺纹孔处疲劳损坏的情况,基于金属物理及弹塑性原理的冷挤压强化技术和螺纹齿各部位挤压量的不同匹配对疲劳强度的影响,找出了较佳的挤压强化方案.按疲劳损伤
从翻译的文化本质入手,以70年代西方译界出现的"文化转向"为背景,语言学家尤金·奈达提出了"功能对等"的理论作为依据,从功能对等的概念出发,去探究翻译对等的实质和不同的文
生态环境部日前正式下发《重污染天气重点行业应急减排措施制定技术指南》,在重污染应急期间,对环保绩效水平不同的企业进行分类施策。其中,达到超低排放的A类企业,在重污染天气
报纸
目的探讨BCLC B期肝癌患者进行手术治疗的预后及危险因素。方法回顾性分析经手术治疗的805例BCLC A期和B期肝癌患者的临床资料及预后情况,对比BCLC A期及BCLC B期患者的预后
<正>人们最初比较重视智力因素对学生学业成就的影响和预测作用.我们认为,在学习活动中,智力因素和非智力因素共同制约着人的活动效率,其中非智力因素起决定性作用.本研究采
会议