实时数据仓库环境中分区技术的研究与应用

来源 :东北大学 | 被引量 : 0次 | 上传用户:pxh504705648
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着企业对数据的实时性的要求的提高,传统的数据仓库技术已无法满足实时性需求。实时数据仓库技术的出现,为企业或组织提供了实时或近实时的数据信息。由于数据实时性的提高,每天都有海量的数据被保存到计算机中,如何在实时数据仓库环境中高效地管理数据的问题也暴露出来。基于数据库的管理技术实现高效的数据管理是解决这一问题的途径之一。本文针对实时数据仓库的特点,以提高实时数据仓库的存储和查询效率为目标,研究了分区技术对实时数据仓库中查询效率的贡献,以及对增量数据的分区存储的问题。从传统的数据库模式特点出发,提出了基于分区表的分区模型和系统化建模流程,包括模型建立、模式抽取和数据迁移等,并从理论依据、实验依据、通用性和扩展性等几个角度详细的论证了此分区表的优越性。针对实时数据仓库的特点,.提出了改进的水平分区算法和基于服务器端改进算法,并详细论证了此方法对查询效率的提升。在此基础上,设计了以上述分区技术为核心的分区引擎,并且将其应于到国家海洋环境数据仓库的开发过程。实验表明,本文所提出的基于分区表的分区策略以及动态分区算法在数据存储和查询领域具有优越的性能,达到了预期的目标。
其他文献
物联网技术、云计算、大规模高效能计算的蓬勃发展催生了以“制造即服务”为理念的云制造模式。随着这种模式的深入推广,越来越多的资源接入到云制造虚拟资源池中,资源提供商、
随着信息技术的不断发展,Web上的信息量呈爆炸性增长。按照所蕴含信息深度的不同,可以将Web划分为Surface Web和Deep Web两大类。其中,Deep Web是指那些存储在Web数据库里、不能
信息技术的发展,使得多媒体通信技术也日新月异地变革着。而视频直播系统作为多媒体通信技术的一个典型应用,在发挥着越来越重要的作用。随着计算机网络的发展,在网络上传输视频
近年来,随着人们对人机交互兴趣的增加,表情识别逐渐成为一个研究热点。人脸表情识别是指利用计算机分析特定人的脸部表情及变化,进而确定其内心情绪或思想活动,实现人机之间更自
伴随着网络技术和多媒体技术的飞速发展,多媒体数据逐渐成为人们获取信息的重要来源,并成为人们生活的重要组成部分。如何传输大量的多媒体信息并如何保护其安全成为国际上研究
互联网技术的推广,使得数字校园也正在飞速的发展。随着数字化校园建设的逐步完善和发展,各种基于校园网的应用系统风起云涌。各种应用系统独立认证的弊端使得校园网络集中管
目的:随着Web技术的飞速发展,一种新的、基于Internet构建的医学影像存档与传输系统受到越来越多的国内外学者的关注。本课题应用Java技术开发一个基于Internet的操作简易、通
Internet作为一个庞大的信息资源库,已成为人们获取信息的主要途径之一,也是教育资源的重要来源。但是,随着网上资源爆炸式地增长,人们在Web上找到自己感兴趣的资源越来越困
在数据挖掘领域中,分类是一种非常重要的技术。分类器集成技术是将多个不同的单分类器组合成一个分类器,以提高原分类器的分类性能。其中,AdaBoost算法是一种典型方法。限制性贝
学位