云平台下输变电设备状态监测大数据存储优化与并行处理

来源 :中国电机工程学报 | 被引量 : 0次 | 上传用户:xiongying1207
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
结合大数据技术提升输变电设备状态评价的广度和深度,并解决实际应用问题成为目前电力行业新的挑战。针对输变电设备状态监测大数据可靠存储和快速访问两方面大数据处理核心问题,基于开源的Hadoop云计算实验平台进行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究。提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率。基于数据相关性多副本一致哈希数据分布,应用Map Reduce并行编程模型设计实现了多数据源并行连接查询算法和多通道数据融合并行特征提取算法。将两种算法在实验室搭建的集群上测试运行,结果表明,多数据源并行连接查询的执行时间仅为标准Hadoop方案的32%,多通道数据融合并行特征提取算法执行时间仅为标准Hadoop方案的35%。
其他文献
慢性结肠炎属于中医学的“泄泻”、“腹痛”等范畴,目前治疗本病多采用辨证分型、专方专药、异病同治、同病异治、中西医结合等治疗方法,内服中药和灌肠的“内外综合治法”是
<正>随着电子银行功能日趋完善,开通和使用电子银行产品的客户越来越多。出于各种原因,很多客户会开通多家银行的电子银行渠道,虽然如此,当客户熟悉并习惯了某家银行电子银行
<正> 近几年来,中学生的早恋不仅成了中学教育中愈来愈突出的一大难题,而且也日益引起社会和家庭的关心和担扰。因此,以科学的态度和方法研究分析当前中学生的早恋及其复杂的
元明之际,中国有多种重要地图均名为《舆地图》。笔者认为,这些同名地图都源出于朱思本的《舆地图》。
<正> 一、埃里克森其人在研究青年期心理的众多理论家当中,爱里克·埃里克森(Erik Erikson 1902-)是能够独辟蹊径地寻求解释青年期心理之谜的答案,而且使自己的答案能够得到
行内人揭开车险理赔骗保黑幕:修车厂设圈套和保险员联手“骗保”!日渐增多的“保险小额诈骗”事件,引起了法律界人士的关注。
在万物互联时代,多接入边缘计算将成为打通5G应用场景的关键技术之一。多接入边缘计算(MEC)作为云计算的演进,将应用程序托管从集中式数据中心下沉到网络边缘,更接近消费者和
以乙二醇作为螯合剂,通过溶胶-凝胶法,在酸性条件下控制二氧化钛前驱体钛酸正丁酯的水解和缩合反应速度,制备了粒径可控的纳米二氧化钛(TiO2)粒子.通过调节催化剂的种类及前
浙江省独山村传统民居建筑属于夯土建筑,本文通过实地调研对浙江省独山村的传统民居形制、特色、材料、营造工艺等进行了调研和分析;通过入户访谈以及翻阅当地古籍、宗谱、县