通用ETL技术的研究与实现

被引量 : 9次 | 上传用户:gsdgerfdgcvbrrgfdgd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机及网络技术的快速发展,许多行业、单位和部门内部都逐步实现了业务、信息的计算机化管理,开发了大量的软硬件平台各异的应用系统,在各种应用系统下又积累了丰富的数据资源,这些数据资源由于软硬件平台各异、数据模型各异而形成了异构数据。而这些数据资源是企业的宝贵财富,企业单位迫切需要集成这些地理上分布、管理上自治、模式上异构的异构数据源。 本文首先分析了国内外数据集成技术的研究状况,根据当前数据集成技术的优缺点,本课题以福建省电力数据中心项目为背景并根据当前异构数据源的特点,提出基于通用数据访问技术(OLE DB)的ETL系统的体系架构。该ETL系统具有元数据管理、丰富的数据清洗功能、友好的拖拉式用户界面和多线程并发处理等功能。 本文中的所有功能模块都具有相应模型,本课题主要的研究工作和创新点是:设计了ETL元数据库模型、数据缓冲模型、并发规则执行模型、数据转换插件。元数据库模型具有标准的层次架构,模型中的上层实体提供了下层实体的描述,下层实体提供了上层实体的实现,元数据库模型的实现为本系统的数据错误控制、数据质量检测、ETL规则定义的简化奠定了基础;数据缓冲模型的设计适应了数据的多种不定因素,即以相对不变的缓冲格式,克服了数据表的记录数和属性数多变的问题,以统一的字符串形式存放所有数据类型的数据,并为数据转换提供了统一的数据表示形式;并发规则执行模型建立于数据缓冲模型之上,数据缓冲模型的多个子缓冲为多线程并发执行提供了基础,并发规则执行模型提高了系统的性能和吞吐量;软件插件丰富了系统的数据转换功能,用户自定义的数据转换函数可做成插件的形式,在本系统中进行即插即用。 本文实现了ETL系统所有模型,对本文提到的系统模型的大部分功能提供详细的算法流程,并实现了一个ETL原型系统。最后本文对原型系统进行了测试与性能分析。
其他文献
1农三师团场棉花轧花厂现状农三师现辖有的15个农牧团场,多数集中在小海子、麦盖提和喀什三个垦区,分布于喀什地区、克孜勒苏柯尔克孜自治州所辖的14个县、市境内。现有大小1
潮湿问题在中国南部(例如香港)很严重,在香港有八成时间相对湿度超过75%,湿度大会带来很多问题[1]。传统的制冷方法不能有效解决潮湿问题,因其靠冷凝来去除水分,凝结导致管路和排水盆相对
日前,国家高新技术重点企业浙江丰利粉碎设备有限公司承担的“废塑料基复合材料粉体法综合利用技术开发”课题,被国家发改委确定为2007年度国家重大产业技术开发专项重点支持项
变电站作为电力生产的主要现场,安全问题一直都是引人关注的重大问题。对于设备故障检修,无法脱离人工维修。维修工作危险复杂。本系统以超声波测距原理为基础,应用51系列单
烷基多苷是一种适用于各种清洗产品的非离子表面活性剂与其它应用密切相关的物理性、泡沫、去污力、配伍性等功能特性及其在洗面奶中应用
桥梁工程是我国交通基础设施建设中的一项重要内容,在国民经济建设发展过程中扮演着重要的角色。从目前我国的桥梁建设现状来看,桥梁工程取得了不错的成就,基本上已经满足了
目的探讨内服汤剂加耳穴贴压联合人工泪液在干眼症患者中的临床治疗效果。方法选取2017年7月~2018年5月沈阳市第四人民医院眼科就诊的干眼症患者100例作为研究对象,采用随机数
经济的供给侧改革,必将带动教育的供给侧改革,以就业为导向的校企联合招生、联合培养的现代学徒制为教育增加有效供给,通过校企制定联合招生策略;提升师资水平,改进办学模式;
2009年10月,深圳市规划和国土资源委员会宣布,深圳将借鉴香港经验,在国有土地使用权“招拍挂”出让中采用“勾地”制度,试行办法已起草完毕,经市政府审议通过后有望近期开始推行。
SSi(全称SUPER SYSTEMS INC)总部位于美国辛辛那提市,下辖SSi英国与SSi中国,SSi巴西,SSi印度,SSi西班牙等分公司以及代表处。是一家专业从事热工工业研发和制造相关配件的系统