电力大数据平台下数据分析与挖掘研究与应用

来源 :华北电力大学 | 被引量 : 0次 | 上传用户:msdn_sdk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘经过二十几年的发展,已经有很多成熟的理论,应用也已经渗入到各个领域。近几年,计算机技术和网路技术高速发展,人们所面临的数据量呈指数增长,传统的数据挖掘方法及技术将面临巨大困难,如何从大量的原始数据中挖掘出有价值的知识成为研究难点。在电力行业,随着电力业务系统的深入应用以及智能电表的普及和推广,用于电力科学研究的电力运行数据、测试、仿真等数据量呈现指数级增长,关联关系多且复杂。数据挖掘技术与大数据技术的结合成为一个新的研究方向。本文针对以上情况,首先详细分析了数据挖掘算法中的Apriori算法的优缺点,针对Apriori算法存在的缺陷,提出基于迭代矩阵的改进算法IM_Apriori算法,IM_Apriori算法用布尔矩阵存储数据集,在计算过程中用k-频繁集矩阵和k-候选集矩阵代替原布尔矩阵,减少计算次数。并且在Spark中实现IM_Apriori算法的并行化,在理论方面分析了本文的改进算法的高效性,然后建立一个电力大数据平台,把平台定位为数据共享平台、数据分析应用平台、大数据应用开发运行平台,从数据采集、存储、预处理、计算、分析、可视化等多个层面为人们提供服务。本文分析了电力大数据平台建设需求,详细设计了电力大数据平台架构设计,从平台整体架构、功能架构、技术架构等几个方面阐述大数据平台的具体实现方式,结合具体技术详细介绍了从数据采集、预处理、数据存储、数据处理和数据展现的实现过程,为电力行业进行数据挖掘与具体应用提供可靠的分析挖掘平台。之后分别在单机环境和集群环境下进行了实验,验证了IM_Apriori算法在执行效率上优于其它改进算法。最后,以大数据平台作为依托,结合居民用电数据将IM_Apriori算法应用于居民用电分析中,对改进后的算法完成了具体应用。
其他文献
产权转让与吸收合并是央企"压缩管理层级、减少法人户数"专项工作中国有资本退出的两种主要方式。论文从两者法律依据、主要程序等角度,结合笔者实践,对比分析,归纳两种方式
先开票后付款在现实生活中已经作为一种交易习惯,科研预借发票在高校也是一个普遍的现象,笔者对高校科研预借发票可能存在的风险进行了分析,并针对存在的风险提出了一些具体的控
<正>建设油公司不是权宜之计,而是一次管理革命,改革的关键是机制建设。在当前低油价的不利形势下,集团公司油田企业普遍面临成本上升过快,人均油气产量低,单位投资回报率下
零售业的专业是什么?一是产品,二是服务。体验为王没错,但产品(包括业态、品类、品牌、商品)才是最好的体验来源,服务才是决定体验高下的东西,只有在产品和服务上下功夫,才抓住
地球重力场是反映地球物质的空间分布、运动与变化的基本物理场。相对重力测量是获取地球重力场中重力数据的传统方法,也是最基本的方法,它可以快速得到地面离散点的重力数据
随着时代的飞速发展,技术得到不断升级,技术向智能化发展的趋势愈加明显,智能技术应用的领域也愈加宽泛。电气工程及其自动化与人们的生活息息相关,联系紧密,由于时代智能化
<正>当代置业(中国)有限公司(以下简称"当代置业")成立于2000年,总部位于北京。其是一家具有一级房地产开发资质的绿色地产开发企业,项目遍布北京、上海、苏州、西安、武汉、
为了了解汽车装配工艺规划及其中包含的相关基础而展开探讨,重点分析了装配工艺的三个关键功能单元,并提出了工艺规划技术。通过分析可知,汽车装配工艺流程复杂、要点众多,单
萨福克羊原产于英国英格兰东南部的萨福克、诺福克、剑桥和艾塞克斯等地.该品种羊是以南丘羊为父本,当地体型较大、瘦肉率高的旧型黑头有角诺福克羊为母本进行杂交培育,并于1
在学前教育专业作文创新训练序列研究实验中,我们选择了两届语文班的学生进行了实验研究,实验前后,分别就学生的写作心理进行了问卷调查,调查结果做出比率对比表。经过对数据