面向Hadoop平台的ETL语言编译器的设计与实现

被引量 : 0次 | 上传用户:sdszsh122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库是为了改善传统数据库在企业管理和决策方面的缺陷而发展起来的一种为企业战略提供信息支持的数据平台。ETL (Extract, Transform, Load)技术为数据仓库中非常重要的一环,被用来从不同的数据源进行数据的抽取、净化、转换等操作,然后将规范化后的数据装入到数据仓库中。随着互联网程度越来越高,企业中存储的数据也越来越多,传统的数据仓库越来越不能满足日益增长的数据存储、分析、挖掘等需求。而Hadoop技术的出现,使得大数据的存储与分析变的廉价而且易扩展。因此,如何将Hadoop无缝整合进企业数据处理过程是一个很重要的课题。本文使用基于LL(*)文法的语言分析程序生成器ANTLR,实现了一个可以将一种广泛应用的ETL专有语言(Ab Initio DML)编译到Hadoop平台的编译器。其实现的原理是,利用Hadoop平台所提供的Hadoop Streaming接口,将现有的ETL程序编译到使用Hadoop Streaming接口处理HDFS程序的Python代码。这样既解决了大量已有业务代码的兼容性问题,又利用了Python语言的简洁与快速开发特性,在开发和维护上更方便。本文的主要创新和贡献如下:1.提出了一种将Hadoop平台融入现有ETL业务逻辑的方法,极大的提升了ETL业务所能处理的数据量与处理速度。2.实现了一种将已有领域专有语言编译到另外一种高级语言的编译器,为今后其它可能的专有ETL语言的编译转换提供了基础框架。
其他文献
<正>青少年学生活动场所是一个比较宽泛的概念,它是指除了学校以外由社会各方面开设的有利青少年学生身心发展和健康成长的教育活动阵地。随着改革开放脚步的加快和延伸,尤其
近年来,因为腐败问题而导致的一大批各层级的官员落马成为了社会公众关注的焦点,成为了人们茶余饭后谈论的话题。这些行政官员因为贪污行贿数额巨大,给国家和人民带来了巨大的财
新媒体时代背景下传播格局发生了很大变化,区别于传统报道和公共新闻的公民新闻传播已成为一种传播现象被大众熟悉,也吸引不少学者对其进行研究。公民“记者”作为公民新闻的创
目的:通过对教师职业紧张、职业倦怠、工作能力、应对方式、社会支持等问卷调查,了解教师身心健康状况、探讨职业紧张影响因素及其对教师健康和工作能力的影响,为新疆地区教师
<正>《文学的趣味》是美学大师朱光潜先生的一篇文艺论文。作者针对文学趣味方面的三种通病,着重论述了如何获得"活"的、"可靠"的文学趣味的问题,提出了趣味是欣赏的基础;广
随着世界汽车工业的迅猛发展及人民生活水平的提高,机动车也进入寻常百姓家,据统计整个北京市目前拥有的机动车数量已经达到数百万辆,而且机动车的拥有量还在持续不断的增长
卵母细胞是哺乳动物种质资源的重要组成部分。卵的体外培养和操作已经广泛应用于体细胞核移植和临床不孕不育症的治疗、卵子成熟和早期胚胎发育机理等方面的研究中。卵母细胞
纳米材料即几何尺寸介于1nm-100nm之间,尺寸效应和大的表面效应使材料具有某些特性的新材料,并在物理,化学及材料科学方面的研究取得了非常大的进展。纳米材料的应用遍及各个
为了更好地克服草莓连作障碍,在江苏省盐城市田间进行了草莓改良剂(蚯蚓粪)用量试验。设置改良剂用量分别为0 kg/m2、1.5 kg/m2、2.0 kg/m2、2.5 kg/m2、3.0 kg/m2和3.5 kg/m
大学班级是高校对大学生实施教育教学活动和进行学生管理工作的基层组织形式,它具有诸多功能,有效发挥班级的诸方面功能对于学生的健康成长具有重要的意义。