基于Spark平台的城市电力负荷预测技术

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:yh603469940
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能电网的迅速发展,电网的信息化和智能化程度越来越高,电网依靠成熟的测量技术和传感器技术部署了大量的智能电表,使得数据获取的方式越来越便捷。与此同时,电网产生的这些数据不仅数据量巨大而且结构复杂,使得电力公司对这些数据采集、存储、处理和分析越来越困难。另外,随着我国经济的快速发展,城市电力负荷预测的准确度也越来越重要,虽然电网能提供更加丰富的训练数据来提高预测模型的精度,但随着数据量和数据维度的增加,模型训练所消耗的时间和模型的复杂度也会急剧增加。因此,研究大数据技术和人工智能技术在电网负荷预测中应用,让电网更好的服务于大众,具有重要的现实意义和应用价值。本文针对城市电力负荷预测方法进行了研究,设计了一套负荷预测系统来实现对电网中海量数据进行采集、存储和分析。主要研究内容如下:首先,以某一具体城市的历史电力负荷数据为基础,通过绘制负荷的特性图来分析电力负荷的特点和影响因素,根据分析结果编写网络爬虫程序去获取与负荷相关的数据以及使用数据分析工具来分析和处理收集的数据。数据收集和处理的主要目的是为后续预测模型训练提供选择真实度高、可用性高的数据。其次,研究随机森林算法原理和Spark的工作原理,设计了基于Spark平台的并行随机森林算法来提高模型训练效率。同时,对设计的算法有效性进行评估,评估过程中在多种场景下进行,实验结果证明了并行算法的有效性。最后,研究了Kafka、Flume、HDFS、Spark和Zookeeper等大数据处理工具,将这些工具的功能集成起来搭建一套电力负荷预测系统,整个系统由数据传输、数据存储、数据计算、数据可视化四大模块组成,同时对系统的各项功能进行测试,测试的结果证明了设计的可行性。
其他文献
研发远程实验平台的动因源于本文作者为解决本科实验教学工作中的困境,在设备台套数不足及排课资源有限的条件下需要完成课时倍增的实验教学任务。本文作者有多个远程实验系统的开发、部署及运维经验。本文分析两个远程实验案例的开发及其技术演进过程后,提出了如下主要设计思路:以FPGA在线编程为核心,以虚拟化云服务为场景,以虚实结合为导向,实现计算机组成原理实验的云服务化。根据这个设计思路,本文展开计算机组成原理
毕业生的就业去向和质量一向是高校十分关注的问题,就业咨询和辅导也是高校十分关注的任务。高校每年都会存储大量毕业生情况和就业去向,但是通过人为分析这些数据中的规律,任务量非常大而且十分困难,并且会十分依赖主观因素。学生自身也很难应用这些数据。同时,辅导者对学生就业辅导时也会片面关注毕业生的部分特质,很难全面兼顾毕业生的所有情况。辅导者个人多年的从业经验也不易复制,无法大量普及,在面对需求量较大的时期
随着全景视觉在智能交通、视觉监控、VR等领域的应用,对全景图像中的人,车等目标的检测需求逐渐增大。等矩形全景图像是全景图像最常用的表现形式,本文围绕它进行研究。由于等矩形全景图像中存在图像畸变、失真等问题,且不同位置上的失真程度不一,使用常规图像检测方法难以完整地提取出物体的特征信息,造成误检、漏检问题。因此,本文提出使用组卷积网络获取图像子区域特征,从而对图像进行特征修正,并引入多尺度特征融合结
互联网的快速发展已经影响着人们的方方面面,人们的生活工作无时无刻不在使用着网络身份。于此同时,在享受着高度信息化的同时,网络的安全性也面临着各种各样的挑战。对于用户而言,众多的账号密码使得用户面临着密码疲劳、密码复用、中心化插件等问题。传统的网络身份认证机制中,各服务器间相对孤立,安全防护出现了木桶短板问题。良莠不齐的网络安全状态下,薄弱的安全防护便成为了网络攻击者的突破口。针对目前通信孤岛的问题
时态规划和概率并行规划是智能规划中两个不同的前沿子领域。前者规定了每个动作的开始和结束时间点,而后者考虑了动作的不确定性效果和并行执行。对同时具有持续时间、不确定性效果和并行执行等特征的动作的规划问题进行规划求解是困难的,当前还没有方法被提出。本文采用基于模拟计算的框架KarmaRan T(Knowledge based Represent and computational-graph base
在中文医学信息抽取领域,由于实体标注语料匮乏,传统的命名实体识别模型难以达到较好的精度和F1值。因此,在该领域,常用迁移学习和多任务学习来克服标注语料稀缺的问题。然而,在以往的工作中,采用多任务学习的命名实体识别模型在共享任务数据和共享网络层时,会出现一些任务之外的噪声以及忽略了独立于任务之外的交互信息。信息抽取领域通常将命名实体识别任务和关系抽取任务作为两个相对独立的子任务。在关系抽取和实体识别
随着互联网的迅速发展,电子商务平台的出现改变了人们购物、出行、就餐等方方面面的消费方式。阅读评论作为人们从电商平台获得对特定商品信息的重要途径之一,很大程度上会影响阅读者对某一商品的看法,甚至会进一步影响阅读者的行为决策。然而,虚假评论群组通过操控大量电商平台账号或利用返利等各种方式指使个人用户发表虚假评论并从中牟利,极大影响市场的公平性和评论的真实性。随着虚假评论发布模式的迅速发展与变化,针对虚
救援机器人能够代替救援人员进入危险的救援场景并开展搜救任务,是近些年机器人研究方向的热门领域,其中SLAM与机器视觉是救援机器人参与救援任务的关键技术。本文参照Robocup Rescue越障与搜救项目的比赛规则对机器人的总体需求展开分析,搭建了基于ROS的救援机器人系统并完成比赛所要求的SLAM与机器视觉的主要项目。论文首先对救援机器人、SLAM及机器视觉现状进行了阐述,在Ubuntu操作系统下
刑行民交叉问题是一个老问题,一个现实问题,也是司法实践中的一大难题,而且随着社会关系的日益复杂化,这个问题将是一个越来越突出的问题,也是在法治轨道上推进国家治理体系和治理能力现代化的一个重大的问题。围绕刑行民交叉或关联关系案件有一系列疑难问题,比如处理刑行民交叉或关联关系案件应当遵循什么顺序?是否有一定的优先次序?行政责任与刑事责任的追究如何相互衔接?
期刊
碳纤维(Carbon Fiber,CF)具有优异的高强、高模特性,但因本体呈现脆性而不能单独使用,通常应用于复合材料中,起到填充增强作用。由于碳纤维表面呈惰性,与多数材料不相容而无法表现出其优异的性能,需要对CF进行改性,从而优化复合材料的界面性能。在工业上通常采用上浆剂对CF表面改性处理,其方法成本低且工艺简单,但对不同复合材料其界面特性不同而需制备特定的上浆剂。本论文选取热塑性聚酰胺6(PA6