基于Spark框架的电力大数据清洗模型

来源 :电测与仪表 | 被引量 : 0次 | 上传用户:lovashan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的电力大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。
其他文献
从物质环境、人的行为两方面入手,剖析建筑作为要素在广场这一特定城市环境中扮演的角色及肩负的使命,希冀以此为例,在城市设计领域呼唤一种角色意识。
如今,全球变暖趋势仍在继续,随之而来的极端天气事件接连发生,给地球上的所有生命带来日益增加的灾难和风险。联合国已将“应对气候变化及其影响”纳入“2030年可持续发展议
针对分水岭算法过分割现象,提出一种综合分水岭算法、中值过滤算法和归一化割算法的改进算法;该算法首先应用改进型的中值过滤算法对图像进行适当的除噪;然后通过分水岭变换对图
K-Means算法是一种基于划分的算法,具有实现简单、效率较高的特点,但存在对初始中心选取依赖性强、分类数K未必总是已知及算法频繁迭代资源开销大等缺点。为解决这些问题,通
<正>在2017年5月14-15日举行的高峰论坛上,"一带一路"被多国政要盛赞为"改变未来的伟大倡议"、"一个伟大的构想"。从2013年秋中国国家主席习近平访问哈萨克斯坦和印度尼西亚
该夹具满足了如下要求:1)自动定位夹紧;2)夹具可在两铣刀间通过;3)便于机械手装卸;4)自锁。为保证对工件有足够的夹紧力,采用了杠杆增力机构。图1幅。
[目的]探讨以分层次培训为中心联合集中学习的教学模式在手术室应用的效果。[方法]将2012—2015学年护理专科、本科、研究生分为A组、B组和C组,A组采用集中学习的教学方式,B
目的探讨JNK信号通路激活在脂多糖(LPS)诱导的急性肾损伤(AKI)发病中的作用。方法 48只小鼠随机分为对照组和AKI组,分别检测血清尿素氮、肌酐以及胱抑素C,HE染色观察肾组织病
<正>课堂是实施课程改革的主阵地,鲜活的课例是教师研究的主要对象。教学实践中,采用一人同课多轮、多人同课异构(同构)以及跟踪听课等形式加强课例研
新课程改革以来,阅读教学"教什么"的问题一直是语文教学界讨论的热点问题,基于学情分析视角确定教学内容的观点和做法已引起教育研究者和一线教师的关注。文章尝试运用学情分