自适应数据仓库系统的研究与实现

被引量 : 6次 | 上传用户:lolotang530
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库的创建与应用是企业信息化发展的必由之路。近十年来,为满足历史数据管理与决策支持的目的,在世界各地出现了大量的、不同规模的数据仓库系统,同时也日益暴露出数据仓库与生俱来的反生命周期的特点与当前流行的软件开发方法之间的矛盾。当前,数据仓库技术面临这样的紧迫问题:在数据仓库创建伊始,数据仓库系统无法辅助用户精确定义业务元数据(用于确定维—指空间)与聚集元数据(用于确定聚集空间);在软件运行过程中,不能够自动捕获用户需求的变化而做出反应;无法在更大范围内分布式处理数据仓库实体化时的繁重负载;无法在更大范围内分布式处理数据仓库使用过程中的查询负载。鉴于此,本文以数据仓库系统面临的问题与矛盾为研究背景,以中国人民银行大连资金清算中心清分信息服务系统、大连国际合作集团决策支持系统、中国人寿保险公司大连分公司营销决策支持系统评估与规划等三个项目为应用背景,以强化数据仓库系统的自适应性、在数据仓库系统中进行聚集优化和度量数据仓库用户适用度,得到一个自适应的数据仓库系统为目的,利用数据仓库技术、数据仓库质量、CORBA结构以及Agent技术,重点研究了以下内容: (1)为达到降低软件系统开发成本、提高组件重用性、在较大范围内实现平衡负载与分布运算的目的,赋予数据仓库体系结构主动性、持久性、智能性的能力,本文利用CORBA技术、Agent技术与Java编程语言,研究并实现了数据仓库自适应体系结构。它是一种能够接受多种有效组件,可实现组件的即插即用,并支持多种操作系统平台、数据库平台与网络平台,可方便的实现组件与数据仓库自适应体系结构之间、组件与组件之间以及组件与用户之间的通信,在Agent的支持下,实现了在一定范围内按照一定的规范分布计算、负载平衡与自我调整的新型智能数据仓库体系结构。该体系结构由组件系列、数据库系列、质量系列、服务系列与维护系列的多种Agent与服务器软件组成,全面吸收和利用了当前有效的软件开发技术与组件重用技术,尤其在组件调用上突破了组件对象引用时,必须利用对象标志进行连接,以及简单的名字服务的局限性,在更大的范围内实现了负载平衡与分布计算。 (2)为适应数据仓库的个性化要求,响应用户对数据仓库的需求,本文基于现有产品的数据仓库优化功能,提出了数据仓库聚集方案最优寻径算法,与数据仓库聚集方案自身优化算法,研究并实现了数据仓库聚集优化。对于在用户的频繁使用之下的数据仓库系统,当务之急是通过机器学习,利用专有软件系统经常性或阶段性地、主动地对数据仓库的元数据进行修正,以使数据仓库系统能够在最好的时间复杂性与空间复杂性上响应用户的需求,从而提高数据仓库系统的执行效率,延长数据仓库系统的生命周期。本文在对数据仓库优化给出全面的介绍之后,详细讨论了聚集优化的解决方案与实现办法。在聚集优化的实现当中,本文基于原聚集方案关系图,提出了一种聚集方案最优寻径算法与自身优化算法,从而得到一个聚集代价较低,又能够满足当前用户需求的聚集方案实体化集合。 (3)为量化用户对数据仓库的需求,本文引进了数据仓库质量的概念,经过对其深入的应用,建立了较为完备的数据仓库质量体系结构,研究并实现了数据仓库数据使用质量。数据仓库数据使用质量是数据仓库对用户的最佳适用度。数据仓库数据使用质量本身是一个主观性的问题,要使之发挥相应的作用就必须量化质量,使其具有多个指标和决定因素,以便于综合评判。因此,本文就数据仓库数据使用质量进行了深入的研究与分析,给出了获取数据仓库聚集方案用户适用度的解决方案。 (4)本文研究并得到了一种自适应数据仓库系统的实现模型,利用CORBA技术、Agent技术、数据仓库技术、OLAP技术,基于数据仓库自适应体系结构,借助数据仓库数据使用质量,利用数据仓库聚集优化技术,得到了一个能够自动采集用户需求并更新数据仓库元数据、平衡采集负载与使用负载,有效响应用户需求的新型数据仓库系统。 综上所述,本文扩展了传统的数据仓库体系结构,利用coRBA结构、Agent技术,赋予了数据仓库系统持续、主动、智能性工作的能力,为数据仓库系统持续、主动、智能地在运行态进行数据仓库系统自身优化提供了基础,丰富了CORBA结构的组件调用方式,增强了数据仓库系统在更大范围内分布计算与平衡负载的能力;基于数据仓库聚集方案的空间复杂度、时间复杂度、用户期望度、用户适用度、聚集闭值以及查询闽值,基于贪心算法原理,提出了聚集方案自身优化算法与聚集方案最优寻径算法,提高了数据仓库聚集优化的能力;引进数据仓库质量思想,给出了一般的数据仓库数据使用质量的质量目标、质量要素以及质量标准,给出了数据仓库数据使用质量(即用户适用度)的测算方法:基于以上三点,文章给出了自适应数据仓库系统的实现模型,并基于MSOLAP Services 2000给出了实现案例。 自适应数据仓库系统的提出,在一定程度上解决了数据仓库系统面临的各种问题与矛盾,为用户能够快速得到一个可以个性化和不断优化自身、充分利用既有软?
其他文献
华为3Com领导对于国际化渠道务实的发展策略,进一步表明华为3Com对巩固扩展海外渠道的信心,以及华为3Com寄希望能通过与国际合作伙伴更为深入地沟通与了解,为华为3Com国际化
新中国成立初期,中国农村存在着两种积极性,一种是互助合作的积极性,一种是个体经营的积极性。1953年,在国际国内形势转好的基础上,中国共产党为早日步入社会主义,领导全国农
土地问题是城镇化进程中不可回避、不可忽视的问题。由于我国农村的土地制度对土地自由流转形成制度性约束,近年来,城镇化的快速发展又对土地资源形成较大的刚性需求,不仅需
非物质文化遗产,是以无形方式世代流传于人类社会的传统文化表现形式。它同物质文化遗产一样,是不可再生的珍贵资源。正确处理非物质文化遗产的保护与开发利用的关系,保证两
近年来,我国对流通领域的建设在不断加强,但是建设过程中,却出现了一些新的现象,比如农产品价格飞涨,农业生产者却并没有因此明显受益,中间商倒是赚取了大的利益,出现了被称
农地是农民的重要财富,农地流转有利于提高农地利用率,挖掘农地的经济价值,增加农民的收入。随着农地承包经营权流转政策的改变,农地承包经营权流转市场得到更好的发展。虽然
赵树理是中国文学史上极具影响力的一位文学家,他的代表作《小二黑结婚》最为大家熟知。这位公认的现代小说的"铁笔""圣手"在这部作品中集中展现了他的创作才能,无论是从内容
张养浩,字希孟,号云庄、云庄老人、齐东野人,山东济南历城人(今属山东省济南市)。生于元世祖至元七年(公元1270年)。少有才学,被荐为东平学正。后为礼部、御史台掾属。后为太子文
20世纪80年代是中国动画的黄金时期,涌现出了许多经典的动画片,《九色鹿》便是其中之一。这部动画片改编自敦煌壁画,影片故事情节传奇动人、发人深省;画面色彩古朴绚丽;线条
信用风险的度量是信用风险管理的难题之一,本硕士论文将信用风险的测度转化为企业财务状况的衡量问题,通过若干财务指标的组合计算债务人不能按期偿还债务的可能性,即违约率。