数据仓库中物化视图选择和维护算法研究与改进

来源 :河北经贸大学 | 被引量 : 2次 | 上传用户:yellowuncle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库作为一个数据集合,具有面向主题、集成、反映历史变化、相对稳定的特点,它的内容来自各种异构数据库的集成数据。数据仓库的本质是一个非常大的数据存储,但是面向主题的数据组织方式不同于普通数据库。作为决策支持数据模型的物理实现,运行之上的应用主要有联机分析处理和数据挖掘。数据仓库中的查询越发困难,是基于它庞大的数据量和复杂的结构,且即席查询耗用时间很长。物化视图技术就是为了提高查询分析效率,它的思想是把查询结果提前计算出来并以视图形式物理存储。在现实应用中,物化哪些视图需要考虑存储和查询代价以及视图维护代价等因素。本文使用多维数据格组织视图,并提出了查询维护代价模型,即满足给定存储空间限定条件下选取查询代价与维护代价之和最小的物化视图集。通过预处理算法得到候选视图集,然后根据代价模型计算出候选视图集合中视图的代价。改进了基于遗传算法的物化视图选择算法,采用一种混合策略的选择算子,并根据适应度集中程度自适应调整种群的交叉概率。和经典遗传算法比较,改进算法不仅降低了搜索视图的成本,而且还使得数据仓库的查询效率加快。物化视图虽然有效地提高了系统对用户查询响应速度,但也带来了物化视图的维护问题。物化视图中的内容是查询基础数据产生的,这些基础数据来自其他独立的异构数据源,如果数据仓库的数据源端发生变化,物化视图中的数据也应作相应改变,和原始数据保持同步。如何保证两者内容的同一性,成了数据仓库研究领域中非常关键和难以解决的技术问题。本文在分析现有常用物化视图维护算法的基础上,重点研究了基于更新频率分组的维护算法,并在此基础上改进了算法。针对每组中基础表增量的大小升序排序,并按此顺序进行物化视图的更新。该算法经实验验证提高了物化视图的维护效率。
其他文献
伴随网络通信技术的快速发展,网络通讯速度得以大幅度提升,为基于大数据量的桌面图像网络远程控制带来契机。近年来远程控制软件发展迅速,功能越来越强大,但是设计思想上和技
框架技术是很重要的软件重用技术,传统的开发模式已经不能满足大型Web应用系统的开发需求。Web应用框架可以提高Web应用系统开发的效率,虽然这在一定程度上限制了开发人员的
随着云计算的快速发展,学术界、工业界能够方便地获取较为低廉的计算、存储、网络等服务。然而,为云计算服务提供支撑的数据中心的正常运行需要消耗巨大的能耗值,随之带来的对能
随着计算机网络技术与多媒体技术的发展,远程教育已经成为改革开放传统教育模式的强大动力和有效手段。它突破传统学校教育方式的时空束缚,与课堂教育、广播教育、电视教育共
随着互联网的快速发展和网络技术的不断进步,一种基于移动Agent的分布式计算模式成为研究的重点。现阶段移动Agent系统并没有完善的安全保障机制。因此,安全性不足阻碍了移动
为了应对客户需求和相关政策的经常变化,提高市场竞争力,企业需要经常修改业务流程,这将耗费大量的资金、人力和物力。业务流程局部的修改会涉及到整个业务流程的配置,不合理的变
人脸识别因其在安全验证系统、信用卡验证、医学、档案管理、视频会议、人机交互、公安系统(罪犯识别等)等方面的巨大应用前景而越来越成为当前模式识别和人工智能领域的一个
对训练数据的建模是机器学习中的一个核心问题,本文将数据建模的两种经典方法——流形学习与统计学习作了结合,相互取长补短。在我们之前一些相关工作的基础之上,本文基于黎
随着卫星传感器质量和数量的不断保证,针对多光谱遥感图像的分类研究理论论证不断增加,相对于传统的遥感影像,多光谱遥感图像的波段信息丰富,空间信息明显充实。传统分类方法并不能很好反映多光谱遥感图像精准的地物特征,不能完善地物特征的分类。为了避免传统的分类方法的缺陷,本文采用集成学习分类方法研讨多光谱遥感图像的分类,并对多光谱遥感图像的纹理特征,分类特征的简化降维等关键问题进行了研究,具体的研究内容如下
被称为“第三利润源泉”的物流产业,在今天呈现加速发展的趋势。现代物流发展的目标是:有效的降低物流成本、提高物流效率,而这依赖于物流过程的合理性和流转的顺畅程度,这需