面向实时OLAP的数据立方体计算方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:pinghua_xu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
OLAP(Online Analysis Processing)是数据仓库中一种重要的决策支持分析工具。传统的OLAP设计基于历史数据的离线批量计算,制约了分析的实时性。在当今瞬息万变的商业社会,决策者需要把握稍纵即逝的商机,要求OLAP能够对海量数据进行实时分析,以帮助决策者及时做出决策。实时OLAP要求在数据仓库实时更新的情况下具有快速查询响应的能力。为了达到实时OLAP的要求,数据立方体预计算是一种行之有效的解决方案,即将用户可能提出的所有查询条件预先进行计算,用户请求查询时直接返回预计算结果即可,而不需要进行复杂的在线聚集计算。随着数据仓库的实时更新,数据立方体也需随之实时更新,使得决策者能及时在线查询当前最新的业务情况。数据立方体所占空间将是原数据的几十甚至上百倍,故数据立方体计算是一项数据密集和计算密集型任务,计算不同维度组合上的聚集以及存储聚集结果对时间和空间都有非常高的要求。面向实时OLAP的要求,本文的研究思路如下:首先,数据立方体预计算解决了实时OLAP的快速查询响应要求。故本文对数据立方体的计算方法展开了研究,以降低计算时间复杂度和降低存储空间复杂度两个核心目标为引导,对国内外相关技术进行学习和研究。其次,为了解决实时OLAP的数据立方体实时更新问题,本文重点研究了支持增量更新的数据立方体模型及增量计算方法。最后,本文针对数据立方体在增量更新期间不可用的问题展开进一步研究,以切合实时OLAP的要求。经过对大量国外研究现状的学习以及自身的思考和探索,本文所取得的研究成果和创新如下:首先,通过研究发现,为了达到实时OLAP的要求,对数据立方体进行压缩是非常必要的,有效的数据立方体压缩方法在削减其空间复杂度的同时也将大大缩短其计算时间和更新维护的时间。本文采用可扩展多维数组作为数据立方体的数据组织模型,并通过去除完全冗余的逻辑压缩方法和基于HOMD的物理压缩方法对可扩展多维数组进行两次有效压缩,大幅度降低了数据立方体的空间复杂度。然后,本文首次提出了基于MOLAP的数据立方体逻辑压缩模型子数组压缩数据立方体SC-Cube(Sub-array Compressed Cube),并提出相应的增量计算方法,有效缩短了数据立方体的计算时间和更新维护时间。最后,针对数据立方体在增量更新期间内不可用的问题,本文进一步研究了基于SC-Cube的在线聚集合并方法,以满足实时OLAP查询要求。
其他文献
随着智能手机等移动电子设备的广泛使用,移动群智感知技术也得到发展,应用前景广阔。在移动群智感知中,感知平台需要招募大量用户来协同完成一项包含众多感知任务的复杂工作
这篇论文研究移动传感应用中蜂窝网预算有效利用的问题。近年来,随着智能手机和可穿戴设备越来越普及,移动传感应用也吸引了越来越多的注意。由于WiFi覆盖范围不足和用户蜂窝
残疾人是一个数量众多、特性突出、特别需要帮助的群体。由于自身残疾的影响和外界环境的障碍,残疾人特别是视力残疾人在获取信息方面存在较大的困难。随着社会信息化的加速,
作为物联网大潮流下的M2M产业,虽然世界各国政府都在大力支持和推行,但目前物联网和M2M的发展却趋于狭隘,虽然实际应用已在我们的日常生活和工作中通过商业运营的模式展开,但局限
无论在民用或军事领域,无线传感器网络均具有广泛的应用前景,如用于战场环境下敌情的监测、智能家居、珍稀野生动物监测等。一个典型的无线传感器网络由一个基站和大量普通的传
网页隐秘通信是指在不影响网页正常使用的前提下利用网页中的信息冗余传递私密信息。网页隐秘通信检测与网页隐秘通信相互对立,两者在不断对抗中相互促进共同提高,通过网页隐
随着计算机网络和信息技术的快速发展,股票交易市场、气象监控、网络安全、电子商务等众多应用领域都产生了大量的数据,其中这些数据以流的形式存在,通常称之为数据流。这些数据
随着互联通信技术的快速发展,人们在实际生活当中对信息的要求越来越高。相对于以文字和语音为主体的原始通信方式,综合语音、图片、视频等多种信息源的多媒体通信方式有着不可
随着Internet的迅猛发展,许多传统行业也逐渐加入到互联网中,并迎来了新的春天。现代易货业的发展正是借助互联网的平台及发达的物流系统发展起来的。它大大的提高了传统易货
车辆路径问题在物流、组合优化以及管理学领域等都受到许多学者的广泛关注,许多实用的理论方法已经运用到实际案例中,对人们的日常生活生产都起到了较大的影响。车辆路径问题作