异构数据转换与同步技术的研究与实现

被引量 : 0次 | 上传用户:a471839794
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息时代,能否拥有及时、准确、全面的信息已经成为衡量一个企业是否具有发展潜力的一个重要指标,数据集成作为企业获取信息的重要方法,负责完成数据从数据源向目标数据库流动,是实现数据集成和共享的重要基础,是构建数据仓库的核心,是决策分析支持系统的前提。 本文设计并实现了数据集成系统,主要研究数据集成中的如下内容:数据集成的体系结构、异构数据的转换方法和异构数据的同步策略。 在数据集成的体系结构研究中,通过对目前传统的数据集成体系结构进行理论研究,分析了其一些缺陷,依据软件工程中分而治之和模块化思想,做出了部分改进,提出了一种改进的三层数据集成体系结构。该体系结构中,将数据集成各个阶段分成三个独立的部分,数据转换逻辑事务被单独分离出来,使得集成更能满足分布环境下系统集成的需求。 在异构数据转换方法的研究中,通过对几种数据转换的方法进行比较分析,提出了一种基于元数据驱动的数据转换方法。在该方法中,将数据集成的各种信息作为元数据资源存储起来,所有的数据转换和清洗都基于元数据进行,同时用户可以向系统注册转换函数,并提供了重用机制使得转换中的一些公共方法和策略能够被重用。 在数据同步策略的研究中,分析了基于快照差分算法的数据同步策略和基于日志检测数据同步策略,通过对基于快照差分算法同步策略中几种快照差分算法进行理论研究及分析,了解掌握了它们的适用范围、处理速度及精度;对于有日志系统支持的数据源的日志检测同步策略,分析了Oracle、SQL Server数据库的日志记录内容,分析了获取增量数据的流程。针对上述策略效率低和复杂等缺陷,并依据数据源对触发器的支持程度和分布网络环境下的一些特性,提出了两种同步策略:一种是基于时间戳和触发器的数据同步策略,在该策略中将时间戳和触发器结合到一起,并将同步监视的对象缩小为字段级,减少了数据的冗余和网络的传输量;另一种是针对数据源不支持触发器的情况提出的基于MD-5算法的数据同步策略,利用MD-5算法对数据记录进行摘要,通过对前后两次摘要的比对,决定数据同步操作,该算法易于实现且运行速度快,减少了数据同步的时间。 在实现系统中,提出了基于公共数据类型的数据类型转换方法,简化了众多的数据类型转换,此外,还解决了大对象类型的问题和一部分冲突问题。
其他文献
随着信息技术的发展,尤其是网络的普及,网络系统的安全问题开始引起人们的注意。但是仅仅依靠技术、安全设备远远不能够解决信息安全中遇到的所有问题。当使用了种类繁多的网络
十九世纪至二十世纪,由于社会环境的变迁世界格局的变换,导致了许多新颖思想的产生,促使艺术家致力于寻求最适当的途径,意图创作出最能表达其个人理念的作品。在如此的趋势推
油液监测诊断技术是通过监测设备用油,来获取设备摩擦副的润滑油状况和故障先兆信息,为设备维修提供依据,从而预防设备重大事故的发生,它是设备的“保健医生”,油液监测技术是对设
自二十世纪八十年代以来,在西部大开发和各种支援西藏建设的政策下,西部的教育特别是西藏的的双语教学去的成果更是令人瞩目。西藏的双语教学是一种针对特殊地区的特殊教育,
<正>一、发展400米专项速度耐力1.用跑的速度发展糖酵解无氧能力。采用100~150米反复跑进行训练,其强度应接近本人的最快跑速,间歇时间以1分10秒~1分30秒为宜。开始时,跑的次
在我国现有预应力混凝土桥梁中,被各种不利因素腐蚀的PC桥梁逐年在增加,尤其是基于氯盐环境下。考虑这种环境因素下,由于预应力钢绞线的腐蚀从而导致梁的抗力衰减,严重影响了
叶适,南宋大儒,乃永嘉事功学之集大成者。其学术思想自出机杼,多异先儒,而在文学思想方面亦不乏独到见解,更深谙诗文之道,其散文创作博通古今,以求实用,构思精妙,文辞宏丽,在南宋卓然成
隐喻是人类最基本的语言现象之一,对其研究的意义不仅限于语言本身,更在于透过其对人类思维的探索。本文对隐喻的研究不仅有理论层面上的意义,而且对二语教学实践也有所启示
研究统计表明英语学习者表达能力欠佳是因为本族语负迁移现象所致。由于语块是建立应用型语言编码并消除负迁移影响的现实途径之一,本次研究尝试用语块来训练公安海警学院学
活性多糖是一种免疫增强剂,它能增强水产动物的非特异性免疫功能,提高机体抗病能力,而且具有无药物残留、无污染以及病原菌不产生抗药性等优点。本文按照多糖的来源及组成对其进