面向配用电应用的大数据集成、存储及处理方法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:aiming4636j
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能配电网的不断发展以及智能化电力设备的广泛应用,配用电数据开始急剧增长。一方面,这些数据不仅来源于生产管理系统、负荷控制与管理系统、用电信息采集系统、营销业务管理系统等配电网内部系统,也包括了地理信息、社会经济、气象环境等外部相关系统数据,数据总体呈现出体量大、类型多、增长快的大数据特征。另一方面,随着负荷预测、配电网网架优化、错峰调度、节电分析等配用电相关应用向智能化、精益化方向发展,如何利用大数据技术提升配用电相关应用的精度、广度及深度成为电力行业新的挑战和机遇。通过对配用电大数据的多源集成、存储优化、关联查询及并行处理等问题进行研究,不仅能够实现配用电数据快速获取和共享,而且能够提高数据分析和数据挖掘的效率,为基于配用电大数据的相关应用提供更高效的技术支持。面对来源广、类型多、异构化的配用电大数据,本文根据各数据系统的特点,选择与之相适应的数据交互通信方式,实现配用电多源数据的跨平台迁移。针对配用电大数据多源集成过程中的异构化问题,通过生成标准化元数据并构建相应数据字典的方法,实现数据的规范化集成。在数据集成的基础上,针对配用电大数据高效存储和快速查询两方面核心问题,本文根据配用电相关应用对于多源数据关联分析的需求,基于Hadoop研究大数据存储优化方法,提出计及配用电数据关联性的哈希分桶存储算法,以实现相关联数据的集中存储,从而提升后期数据查询及处理的效率。在数据存储优化的基础上,进一步实现基于MapReduce的多源配用电大数据并行关联查询。通过在Hadoop集群上进行测试说明对经过哈希分桶存储优化后的多源数据进行并行关联查询的高效性。大数据环境下的配用电数据格式转换、异常数据辨识、数据清洗等处理环节大多需要复杂的迭代计算,而后期应用对于数据处理的效率有较高的要求。针对具有半结构化及非结构化特点的配电网拓扑数据难以被直接应用的问题,本文利用Spark的并行化内存计算等技术实现大规模配电网拓扑数据的高效解析。考虑到海量负荷数据中存在的数据缺失、波动幅度过大等异常情况将影响后期负荷时空分布预测、网架优化等应用的准确性,提出基于Spark技术的并行化FCM算法,并应用于负荷异常数据辨识及修正。通过在Spark实验环境中测试说明本文方法能够高效准确地辨识及修正负荷异常数据。以负荷时空分布预测应用为例,利用本文所提出的方法对应用所需数据进行多源集成、存储优化、关联查询及并行处理,以说明本文方法的有效性。
其他文献
RNA干扰(RNAi)现象是指由短链RNA所诱发的一种基因沉默现象。诱发RNA干扰现象的短链RNA主要分为两类:一类是从细胞外注入的siRNA,一类是在转录过程中产生的miRNA。两类RNA都先
本文正文共分三个部分。第一部分,信托公示的界定与法理基础。首先本部分阐释了与信托相关概念的含义,对信托法律关系的特点作出了详细的分析。同时初步分析了信托三方当事人
令n是满足某些局部同余条件的充分大的整数,κ是一个正整数.Waring-Goldbach问题主要研究将整数n表示为素数的方幂之和,即n = p1κ + p2κ + …+psκ,(0.1)其中p1…,ps表示素
在第一章中,比较了自治系统所决定半群的整体吸引子,非自治系统所决定过程的核截面和随机动力系统的随机吸引子三个概念之间的差异,找出了三者之间的相互关系,并阐述了从整体吸引
按照南非宪法和法律的规定,公民的住房权是指公民获得住房及配套服务的权利,也包括不被任意驱逐的权利和获得司法救济的权利。公民的住房权是由联合国宪章明确承认的一项基本
作为第三产业的房地产业,在国民经济和社会发展中占有相当重要的地位。它本身表现出来的地域性、固定性和市场周期波动的特征,引起了各国政府、理论界和实践界人士的高度关注
《全国档案事业发展"十三五"规划纲要》对档案信息化建设的任务设计突破与超越了以往五年规划的框架,从大数据的视角,以开放、创新的理念勾画出2016-2020年档案信息化建设的
量感是人们的视觉、触觉等感官对数和量的感知,在一定程度上是思维的产物。因此,量感的体验和建立更多地依赖于经验的积累和理性的叠加。在组织量和计量的教学活动中,教师应
二孩政策全面实施后,我市婴儿奶粉市场、月嫂市场都在升温,同时,婴幼儿成长中的各项日常生活用品的需求也大幅增长。当你漫步市区的主要商业大道,处处可见各式的母婴店,母婴店的遍
报纸
鳞片石墨是一种具有优越性能的战略性非金属矿产,广泛应用于各个领域,尤其是石墨烯在新兴领域应用研究取得的进展,进一步带动了石墨选矿的深入研究。国内细鳞片石墨资源量大