基于Spark/Shark的电力用采大数据OLAP分析系统

来源 :中国科学技术大学学报 | 被引量 : 0次 | 上传用户:woodofcn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树
其他文献
在上周,我们跟大家强调了,市场还在下跌探底的过程当中,而这个探底的过程肯定没有那么快就结束,必须是前期的热门板块都轮跌了一遍之后,市场释放完了做空动能,才有可能构筑阶
在信息时代,图书资料管理的范畴已经不仅仅局限于做好图书收集、保存与借阅工作,而是要借助于数字化、信息化技术,对图书资源进行整合利用,更好地发挥图书馆的服务职能,完成
高电压输入、中大功率输出的应用场合越来越多,而功率开关器件的耐压和载流能力却没有取得大的突破,传统两电平Buck直流变换器难以满足高压大功率电能变换要求,但是多电平Buc
解释了技术美的含义,简单阐述了技术美的来源,探讨了技术美与现代产品设计的关系。同时,从产品的功能、形式和材料等3个方面来论述技术美在产品设计中的体现。此外还列举了现
利用多线性振荡积分算子在加权Lebesgue空间的有界性结论,依据外推原理、一些不等式和空间分解理论,得到了两种多线性振荡积分算子在加权Morrey空间Lp,κ(ω)中的有界性结论.
当前,对塑料进行改性,以制造使用的塑料新材料,已发展成为新材料工业的有效途径之一,全球的改性塑料行业也因此在近年内获得了长足的发展。我国改性材料行业市场广阔,发展潜
目的:了解杭州市居民健康自我效能现状并分析自我效能感对自我管理行为意向、行为的影响效能,为切实干预措施提供依据。方法:利用分层随机抽取方式选取杭州市四个行政区,采用
会议
近年,我科遇2例子宫内膜异位症,均误诊误治,有些经验教训,现结合文献进行讨论。
现有的智能电视操作系统(TVOS)资源分配多依赖于操作系统本身对任务的资源分配方案,而系统对任务的调度是尽力而为(best-effort)的,以最大化系统的吞吐量为目的,这种资源调度
本期股市动态30指数收于1082点,较上期下跌0.7%,同期上证指数下跌0.83%,创业板指数下跌0.69%。成分股中,北方华创、苏宁云商、青岛啤酒等个股涨幅靠前。国轩高科、中科三环、