【摘 要】
：
介绍了并行ETL的相关工作和常见的处理多MapReduce作业流程的方法；提出一种改进的链式MapReduce框架．并将此框架应用于一个并行ETL工具，同时提出一些针对ETL处理的流程级优化规
【机 构】
：
北京邮电大学计算机学院通信软件工程中心
【基金项目】
：
国家自然科学基金资助项目(No.61074128)
论文部分内容阅读
介绍了并行ETL的相关工作和常见的处理多MapReduce作业流程的方法；提出一种改进的链式MapReduce框架．并将此框架应用于一个并行ETL工具，同时提出一些针对ETL处理的流程级优化规则，使ETL流程产生更少的MapReduce作业，从而减少I／O以及网络传输的消耗；利用某省份手机上网数据与Hive进行了大数据对比实验，结果表明．本ETL工具的性能平均比Hive快10％～20％。
其他文献
随着企业计算机应用的不断推广,企业信息化应用水平逐渐提高,企业越来越需要车间执行层的管理信息系统。因此如何深刻理解MES内涵,把握它的发展趋势,在我国企业中开发和应用
检察机关对于普通民众来说是比较陌生的一个政府机关,检察诉讼档案的相关信息更是鲜少出现于公开出版物,大多都是关于案件介绍的内容,这些信息并不是检察诉讼档案蕴含的主要
金融资产协方差矩阵的估计和预测在金融众多领域如资产配置、风险管理等中具有核心地位。大量的实证研究表明,金融资产的价格波动率具有较强的记忆性。对资产协方差矩阵准确
房地产企业迫切需要大量的资金购买土地使用权和开发房地产项目,2012年中国房地产市场资金缺口为1.3万亿,需要将房地产行业销售规模提高四分之一才可以弥补上述缺口。而我国
以西安市某紧邻地铁车站深基坑工程为背景,运用大型通用有限元软件ABAQUS建立三维数值计算模型,对不同支护方案下基坑施工的实际过程进行动态模拟,分析了处在有限宽度土体范
结合工程实例，利用FLAC3D数值差分计算程序对深基坑双排桩支护结构的弯矩和变形分布特征进行研究。重点分析前后桩排距的变化对结构体系内力及变形的影响。研究表明：随着双排桩
山兰黄酒是以海南黎族传统的山兰早稻为原料酿制的具有鲜明地方特色的一种黄酒。清爽型黄酒是一种新兴品种黄酒,它的开发和生产刚刚起步,却在很短的时间内成为消费者所喜爱的
<正> 商业企业是国民经济的一个重要组成部分。提高商业企业素质是实现社会主义现代化建设的需要,是企业建设的经常性的根本任务,是扩大企业自主权、实行经营责任制的发展和
汉字印刷字体是指供排版印刷使用的规范化的汉字形体。近些年来,随着计算机科技和印刷技术的进步,汉字印刷字体的设计与开发得到很大发展。而字体日益多元化的现象也充分反映