实时数据仓库中查询与更新调度策略的研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:MyEclipse927
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,企业或组织的信息化建设不断深入,企业或组织搜集了大量的数据信息,需要数据仓库提供决策支持。为增强市场竞争优势或提升社会安全保障能力,企业或组织对数据仓库的实时性提出了越来越高的要求,但传统数据仓库不能满足这种实时性需求。因此,出现了提供实时决策支持的实时数据仓库系统。在实时数据仓库应用领域,决策者期望短的响应时间和高的数据新鲜度。然而,由于存在高负载和可能发生冲突的连续查询与更新任务,实时数据仓库同时满足决策者的上述两个需求具有极大的挑战性,但具有实用价值。如何有效提高用户需求的满意度是一个亟待解决的问题。因此,实时数据仓库体系结构和查询与更新实时调度算法成为研究的热点,并具有重要意义。本文首先全面分析了现有的实时数据仓库体系结构,确定了更新任务与查询任务的负载分布情况,利用副本机制将实时性更新任务的转换过程与OLTP系统相分离,以减少实时更新对OLTP系统性能的影响。然后提出了改进的基于ODS实时数据仓库体系结构,分类处理实时更新任务,利用基于触发器的实时捕获方法,采用不同的映射和装载机制。该方案可以尽可能实时地装载更新数据,从而提高查询结果新鲜度。本文将不能实时装载的任务放于更新任务队列,将用户提交的查询任务放于查询任务队列。对于以上的两种任务,本文提出了基于用户意愿的查询与更新二级调度算法,允许用户指出可接受的查询响应时间即服务质量,和可以接受的结果陈旧度即数据质量,并详细介绍了此二级调度策略思想以及实现方法。最后,利用TPC-DS基准对本文中提出的体系结构和调度算法的性能进行了评估。实验表明:在低、中、高三种工作量下,本文提出的基于改进的实时数据仓库体系结构的二级调度算法与三个传统调度算法相比,在很大程度上提高了用户的满意度,并且能够快速地适应变化的用户需求与工作量。
其他文献
知识管理是指对企业知识资源开发和有效利用的过程。知识管理的目的是提高企业的创新能力及创造价值的能力。在企业业务过程或知识管理过程中,需要为解决若干业务问题寻找合
压缩感知是一种新式的数据采集方案,在2006年由Donoho和Candes首次提出。压缩感知理论可以使信号在采样率远低于奈奎斯特(Nyquist)采样率并满足一些特定条件的情况下,以很低
在当今这样一个信息和网络化的社会里,各种大容量存储设备也已经广泛地应用于社会的各个领域,如政府机关、学校学术机构、商业公司、个人用户等。对于不同计算机用户,尤其是
Web服务作为一种新型的分布式计算模型,近年来得到学术界和工业界的极大关注。单个Web服务一般提供一些比较单一的功能,通常无法满足复杂应用的需求。因此,集成单一服务所提
无线传感器网络(Wireless Sensor Networks,WSN)是当前在国际上备受关注的、涉及多学科高度交叉、知识高度集成的前沿热点研究领域。近几年,关于无线传感器网络的研究也取得
随着信息技术和宽带技术的不断发展和完善,家电设备都开始内置各种嵌入式芯片和处理器,以使其具备网络连接和数据通信的能力。在不久的将来,各类家电设备如电视机、冰箱、洗
随着云计算时代的到来,云计算在我们生活和工作中发挥着越来越重要的作用。云计算作为一种新的计算模式,提供了大量的计算、存储、网络和软件等各种共享资源,用户不仅能够方
随着医院信息化建设的不断加快,医学信息系统的广泛使用,越来越多的医学数据随之产生。这些医学数据类型多样、组织无序,但却是最直接的诊断依据,蕴含着丰富的经验知识,具有
可证明思想起源于1984年Goldwasser和Micali等学者的开创性工作,他们提出了语义安全性定义,将可证明安全的思想首次带入安全协议的形式化分析中。随后,越来越多的学者采用可
在当前计算机网络飞速发展的步伐下,IPV4的局限性已经越发的显现出来了。除了安全性和性能方面的缺陷处,最主要的还是地址空间严重不足。IPV6由于具有2128个地址,可以很好的