【摘 要】
：
电力大数据平台是新一代智能电网、能源互联网应用体系的核心。本文首先介绍电力大数据平台的主要特点,提出基于Hadoop的电力大数据采集优化方案,同时提出一种动态触发式ETL调度流程与算法。根据Hadoop和Oracle的系统运行日志,分析比较了两个平台的采集效率与数据量之间的关系。分析表明,基于Hadoop的电力大数据平台,与Oracle定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待
【机 构】
：
云南省能源投资集团有限公司,昆明理工大学
论文部分内容阅读
电力大数据平台是新一代智能电网、能源互联网应用体系的核心。本文首先介绍电力大数据平台的主要特点,提出基于Hadoop的电力大数据采集优化方案,同时提出一种动态触发式ETL调度流程与算法。根据Hadoop和Oracle的系统运行日志,分析比较了两个平台的采集效率与数据量之间的关系。分析表明,基于Hadoop的电力大数据平台,与Oracle定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象,提升数据采集时效性,获得比较好的应用效果。
其他文献
FPGA的嵌入式系统不能缺少通信接口,系统设有USB的通信接口。对于嵌入式系统设置了明确的通信要求,因此与之相应的通信接口也要符合最基本的通信需要。从基本构成来讲,嵌入式系统设有I/O接口、存储器与CPU等模块,单片FPGA具备优良的集成性能。由此可见,嵌入式系统本身具备灵活升级的优势,同时也更加便于系统扩充与裁剪。依照现阶段的硬件设计,FPGA具备丰富的I/O资源,在这其中包含了并行与串行的系统
In 2019,China's textile industry is facing a more complex and severe macro situation at home and abroad.Various unstable and uncertain factors are intertwin
amec-amtex brings together the Spanish textile machinery industry has achieved that Barcelona, the city in which the association is housed, has imposed itself o
Organized by the Sub-Council of Textile Industry of CCPIT, the China Premium Textile&Apparel Trade Show-South Africa (CPT, hereinafter abbreviated as the "South
针对LW6-220型断路器长期运行出现的的故障和存在的缺陷,进行原因分析和更换性大修,确保了设备安全及供电的正常运行。
At ITMA 2019, Truetzschler exhibited various intelligent spinning equipment and advanced technologies, digital solutions and sustainable non-woven production li
From January 2018 to September 2018,major economic indexes,including the corporate output,operating income and profits,of the dyeing and printing industry all m
随着我国当前社会经济的快速发展,人们的日常生活以及经济生产水平都有了非常大的提升,人们对电能的需求量和供应质量要求变得越来越高,这对供电企业的发展来说既是一次机遇也是非常大的压力。供电企业为能够更好更快捷的为广大电力客户提供优质供电服务,就必须实现电力系统的安全稳定运行,当前阶段自动化在电力系统中的实现对于电力系统的可靠性产生了非常重要的影响。本文作者有着多年的供电企业电力系统管理的工作经验,结合
本文介绍了一种采用Altera公司NIOS II嵌入式微处理器实现的被复线传输设备。通过将NIOS II软核处理器、自定义FPGA专用模块、存储器和I/O集成到单块低成本的FPGA上,组成一个
为了提高公交车加油站利用率,针对不同公司公交车加油站资源共享化。本论文提出基于Web的公交车辆用油信息化管理系统,为各加油站提供公交车辆油耗信息的查询、统计和分析等服务。研究结果表明,该信息化系统替代了传统加油信息录入方式;为企业有效地减少油料浪费、提高了工作效率;避免油料在使用中跑冒滴漏,为公交车的能耗成本核算提供较为科学的依据,具有较高的研究和实际应用价值。