基于数据仓库ETL技术的数据提取与数据转换研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:javawm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库技术是近年来迅速发展的一项数据存储管理技术,由于数据仓库技术具有高度的数据集成性并能良好的处理异构型数据等特点,使其迅速受到了很多行业的青睐。它的面世极大的推进了决策分析领域的进一步的技术优化,并且改善了传统数据库技术的一些缺陷,使数据具有更好的集成性、稳定性并且兼备传统数据库的优点。将数据仓库技术应用到决策分析领域,可以很好的从大量的数据信息中提取出决策所需的有价值的数据,通过数据分析,更快捷的做出相应的决策。因此,在决策分析领域很有必要采用数据仓库技术。本课题研究的数据提取与数据转换技术是建立数据仓库过程中获取原始数据并对数据进行加工过程的关键部分。数据提取与数据转换技术基于数据仓库ETL(Extract, Transform, Load)层中的“抽取”与“转换”两部分,“抽取”是访问数据库系统等外部数据源,并从中将数据仓库所需的数据提取出来,“转换”的过程是将“抽取”步骤所得的来源于不同数据源的异构的数据信息,通过数据仓库预定的模式,转化成为具有统一的数据格式的数据,从而便于数据仓库对这些数据进行具体的数据操作。本课题的研究过程中设计了实现数据提取与数据转换的算法及相关研发框架图,将数据提取与数据转换功能设计为访问数据源模块、从数据源中提取数据模块、数据格式转换模块等三个功能模块来实现。访问数据源模块通过CDatabase基类结合接口连接外部数据源,通过统一的数据访问接口来访问不同的数据源,实现对外部数据源的访问。从数据源中提取数据模块利用过程语言和调用接口方法来提取数据源中的数据,访问数据源之后,从数据源中获取所需的数据信息,包括数据表名、数据表中的列名及数据表中的详细信息。数据格式转换模块结合VC++技术与数据仓库技术完成对提取的异构数据的结构转换,将来源于数据源的异构的原始数据转化为具有统一格式的适用于数据仓库的数据,如浮点型数据、时间型数据等,在数据存储到数据仓库前,先进行数据格式的转化,赋予这些数据统一的数据格式。便于数据仓库对数据进行访问。通过这三个功能模块的实现串联了数据仓库与外部数据源,并支持连接SQL、MDB、Oracle等多种类型数据库系统,完成了数据仓库从外部数据源进行数据提取并转换的功能流程,以便于进行后续的存储、查询、分析等操作。本课题研究的数据提取与数据转换技术可在Windows环境下完成数据仓库从存储原始数据的应用系统中提取面向主题的所需数据集合,并对数据进行合理加工以适应数据仓库的要求,对企业构建数据仓库进行决策分析过程中的整理核心数据并进行数据分析具有帮助作用,以加快决策分析的工作效率,可以良好的应用到采用数据仓库技术的行业决策分析领域。
其他文献
延迟焦化是一种石油二次加工技术,可处理残炭和金属含量很高的劣质原料,提高轻质油的收率和脱碳效率;有操作连续化、处理量大、灵活性强、脱碳效率高、投资和操作费用低等优
目的探讨应用盐酸奥布卡因凝胶在鼻胃管置入术中的应用效果。方法方便选取2017年6月—2018年6月于该院留置鼻胃管的80例患者随机分为实验组和对照组,实验组40例,对照组40例。
2020年4月20日,国家发改委正式将“卫星互联网”纳入“新基建”。这标志着:2020年将成为我国卫星互联网建设元年,并预计其将成为贯穿“十四五”的重要投资阵地。  卫星互联网顾名思义,就是靠卫星来提供互联网服务。一般来讲,地面网络通信主要依靠基站,而卫星互联网则是基于卫星接入互联网,是卫星通信与互联网相结合的产物,也是信息通信网络从平面到立体的重要拓展。卫星互联网的建设,不仅提供了另外一种互联网
目的探讨POEMS综合征的临床特征。方法回顾性分析12例POEMS综合征患者的临床资料。结果以四肢麻木无力为首发者9例(75%),表现为周围神经病者12例(100%),单克隆浆细胞增生性异
习近平生态文明思想是在2018年全国生态环境保护大会上首次提出并全面阐述的重要理论体系,是工业文明向生态文明转化阶段的重要理论指导。面对绿色发展的深入推进,商业银行要
基于社会物理学与新闻传播学的交集理论视角,探讨新时代中国体育新闻舆论熵的表现形式、舆情控制及防范策略.主要结论:体育新闻舆论系统赓续积聚的熵增源、体育新闻舆论系统
前几天老师让写一篇5000字的论文,这可把我急坏了.于是上网查找。找了半天终于找到了一些有用的资料,当我欣喜的用鼠标右键来复制其中的内容时。结果文章受保护不能复制.当时我欲
【摘要】工业4.0是为了进一步提升工业竞争实力、改善现有工业制造领域而提出的战略规划。通过正确认识以及分析、梳理工业4.0的发展与规划,找到与之适合的教学培养方式,为我国未来的制造业人才培养做出具大的推动作用。在此背景上,深刻理解工业4.0的内在含义,寻找探讨工业4.0背景下创新型教师培养模式,是我们未来高校教育能够更好的培养出适应工业生产的合格毕业生的关键。  【关键词】工业4.0 创新型教师
受新冠肺炎疫情影响,学生无法按期到校进行传统的课堂学习。“环境工程原理”这一环境工程专业核心课,是学生开展后期专业学习的先导课程。本文结合线上授课实践,对该门课程
目的分析联合用药治疗内分泌失调性不孕症的疗效。方法选择我院2013年2月~2015年3月收治的内分泌失调性不孕症患者80例作为研究对象,将其随机分为对照组和实验组,各40例。对