基于SQL的ETL过程在钢铁企业中的应用

来源 :东北大学 | 被引量 : 0次 | 上传用户:huanghuimin1224
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)就是负责从多个数据源抽取,转换并装载数据到数据仓库的过程,它是数据仓库、数据挖掘以及商业智能等技术的基石。数据仓库能否在决策分析时候给予足够的支持,ETL过程方案是关键所在。有关资料显示,ETL过程实施在数据仓库建设过程中占用60%到80%的资源。文献和个人经验告诉我们,关于ETL过程的主要问题是复杂性,可用性和价格。 为了解决这些问题,我们提出一种基于SQL的ETL过程方案。有别于传统的基于专用引擎的ETL过程方案,该方案基于SQL标准语言,依靠数据库引擎处理ETL任务。同时利用ETL过程以数据为中心,基于脚本的优点,引进活动元模型概念。最后本文以攀钢统计系统建设为背景,详细阐述了该方案在钢铁企业中的应用过程。 本文中的所有功能模块都具有相应模型,本课题主要的研究工作是:设计了一种基于SQL的ETL过程方案,并将多维数据建模方法和活动元模型应用在该方案中。多维数据建模方法是人们在追求可理解和高性能的数据库设计过程中自然形成的,而活动元模型为ETL过程提供了一个概念和逻辑抽象,它们是ETL过程设计和开发过程中的关键技术,是基于SQL的ETL过程方案的一部分。 本文实现了该ETL方案所有相关功能模块。对提到的相关模块提供了详细的算法流程,并将其成功应用于攀钢统计系统开发。最后本文对系统相关部分进行了运行情况统计与性能分析。
其他文献
随着网络的普及,企业、政府等组织中基于网络的业务越来越多,网络安全问题的影响越来越大。为保证网络的安全,很多单位投入大量资金用于购买网络安全产品。因此,对网络安全领域的
网格代表了一种先进的技术和基础设施,是继Internet之后的又一次重大的科技进步。基于Internet的网格,时时都面临着安全隐患,网格由于其自身的特殊性,它除了应用已有的网络安
随着计算机技术的普及和进步,计算机科学可视化技术也得到了迅猛的发展,特别是矢量场可视化在流体动力学中有着广泛的应用。本文针对矢量场可视化这一课题,首先对二维的稳态
数据中心网络对计算产业的重要性日益增加。然而传统的有线数据中心存在着部署困难以及布线复杂等问题。随着60GHz科技的发展,数据中心走向了无线化,数据中心也不再依赖有线
随着自然科学与社会科学的不断快速发展,各个领域中的数据都以几何级数的增加,人们要从这些数据中找到对自己有用的数据,找出这些数据的规律,更好的利用这些数据就成了当务之急。
网络黄毒的泛滥不仅严重影响青少年身心健康,而且也给人们正常使用互联网带来了诸多不便。如何防止网络黄毒的侵害是个重要的研究课题。目前,通常的网络过滤系统都采用URL封锁
在应用业务的发展、Internet的普及和数字信号处理技术进步的推动下,基于小波的视频图像可分级编码技术研究已经成为视频压缩研究中的热点。在目前的视频压缩编码系统中,对帧
高校是我国信息化建设的重要领域。随着高校的校园数字化建设的不断深入和建设规模的不断扩大,越来越多的业务系统被不断的开发出来,例如教务管理系统、学生管理系统等等。在这
图可以描述实体与实体之间的联系,以顶点和边的抽象的方式分析现实中的问题,如好友推荐、网页排名PageRank。传统的图算法假设整个图数据可以加载进单台PC内存,所以对于大规
随着图像处理、模式识别和智能计算机等相关技术的不断发展,昆虫的行为识别逐渐成为研究的热点。本研究以图像处理和模式识别理论为基础,借鉴了国内外的相关研究经验,选取处