OLAP系统中Cube并行与分布式处理技术的研究

被引量 : 0次 | 上传用户:chuengwang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据立方体(Data Cube,Cube)是一项可对数据仓库中的数据进行快速访问的技术,它是联机分析处理(On-Line Analytical Processing,OLAP)的主要对象。决策分析者可以在Cube中享受高效率的数据访问,快速获取有用的决策信息。在本文中,我们提出了在并行环境下建立基于高维数据的Cube数据存储和OLAP查询分析系统,以及在网络环境下建立基于海量痕迹数据的Cube数据存储和OLAP查询分析系统,并给出了该方面工作的进一步研究思路。随着数据仓库中数据规模的不断增大,Cube的维度和维度的层次结构日益复杂,在单处理机上物化整个Cube,无论在计算时间还是存储空间上的代价都十分昂贵。尽管采用了许多改进的算法及Iceberg Cube,Condensed cube,Dwarf等Cube压缩技术,也不能从根本上解决高维数据的Cube存储问题,并行技术为我们解决这一问题提供了新思路。本文针对高维数据所引起的“维灾”,提出了一种并行环境下的高效存储结构——HDCube(High Dimensional Cube),HDCube通过分段划分策略将高维层次数据根据节点的个数划分成若干个低维层次数据,利用并行处理技术创建各个节点上的LDCube(Low Dimensional Cube),同时充分利用维属性具有层次性的特点,采用基于维层次编码(Dimenison Hierarchical Encoding,DHE)的索引技术,生成各个维的维层次编码表来代替维表中原关键字,在实现维关键字压缩的同时加快了Cube中的数据检索速度。然后结合并行处理技术,建立了并行环境下的HDCube数据存储与OLAP查询分析系统,对HDCube进行并行创建与增量更新维护,并给出了HDCube的并行查询处理及优化算法。理论分析和实验证明,相对于以往的完整物化和部分物化等传统方法,我们提出的并行环境下的HDCube性能有显著的提高,具有很高的效率和加速比。OLAP除了在传统领域,如金融、保险、电信等行业中的特定应用之外,在物流行业的发展也很广阔。我们结合危险品运输过程中产生的海量痕迹数据,提出了海量痕迹数据的Cube存储结构——MTCube(Massive Trace Cube),MTCube适用于实际应用中普遍存在的海量痕迹数据,它在根据痕迹数据特性大幅度压缩数据的同时,通过层次前缀痕迹(Hierarchy Prefix Trace)和层次前缀标识(Hierarchy Prefix ID)在存储结构中记录数据的痕迹,帮助用户在跟踪危险品的同时,能从庞杂的数据中进行信息提炼,分析现在的、有用的关系和模式,为复杂数据的分析和高层决策提供更有效的支持。由于痕迹数据往往是海量的、地理分布的,同时查询复杂化和显示多样化的需求不断地增加,原有的集中式管理已经越来越表现出其局限性。为此我们提出了建立网络环境下的MTCube数据存储与OLAP查询分析系统,它由若干个本地站点的局部Cube/OLAP系统(Local Cube/OLAP System,LCOS)组成。理论分析和实验证明,我们提出的MTCube在对数据进行高度压缩的同时,可以支持对危险品的有效监控和风险预测。
其他文献
未来中国制造业发展所面临的深层次困境和挑战,不仅要求中国政府和企业充分吸收和学习发达工业国家工业化过程中的普遍制度、政策安排和共性创新实践,更要求中国从自身独特的
本文将受知识产权保护制度约束的模仿效应参数及模仿成本引入Hausman的技术水平模型,通过建立1994—2009年SITC Rev.3的三位编码产品与中国国民经济中35个工业行业的对应关系
<正> 自从刑法、刑事诉讼法实施以来,在司法实践中,对重婚罪的认定以及处理的方法、程序等问题,在认识和掌握上颇不一致.因此,探讨这些问题,对于执行刑法第一百八十条和刑事
随着我国改革开放的进一步深入和社会主义市场经济体制的不断完善,我国的国民经济和人民的生活水平得到了较大的提高,但是,伴随着经济的增长,环境问题也日渐突出和严重。因此,探索
我用这样的题目写这篇文章,或许并不妥当。尽管此书早已发排,正在由专人细阅校样;尽管此书在发排以前就刊登了广告①,而几个大学也已经前来订购。但是书毕竟尚未出版。而且为了保
改革二十多年来,买方市场形成后,市场有效消费需求不足对经济增长的制约作用日趋明显,启动消费问题已成为全国经济研究领域中最重要的方面,重庆也不例外。本文在调查收集重庆农村
在阐述配送仓库的设施与设备配置、技术参数、布置形式的基础上,本文介绍了目前设施布置的主要研究方法:系统布置设计SLP法、物料搬运系统分析SHA法和计算机仿真法。通过对这
提出了一种新型栅耦合型静电泄放(ESD)保护器件——压焊块电容栅耦合型保护管.该结构不仅解决了原有栅耦合型结构对特定ESD冲击不能及时响应的问题,而且节省了版图面积,提高
本文在构建电网公司市场势力模型的基础上,经测算得到2004—2013年(除2009年)黑龙江、吉林和辽宁三省在各年度的市场势力具体数值。通过将辽宁省电力公司市场势力的变化情况
宽严相济刑事政策是我国在构建和谐社会背景下进行刑事政策调整的表现,是我国刑事政策的新发展,是现行居主导地位的刑事政策,它对我国死刑立法和司法的走向将产生极为重大的