【摘 要】
：
针对ETL数据处理的数据转换阶段进行研究与优化,为了进一步提高数据处理的效率,对数据处理的规则进行优化合并,减少了相关进程的数目以及存储空间的消耗.另外引入了MapTrimRe
【机 构】
：
东北石油大学 计算机与信息技术学院,黑龙江大庆,163318
论文部分内容阅读
针对ETL数据处理的数据转换阶段进行研究与优化,为了进一步提高数据处理的效率,对数据处理的规则进行优化合并,减少了相关进程的数目以及存储空间的消耗.另外引入了MapTrimReduce编程模型对ETL的大量数据进行分布式处理,规则上的优化处理也进一步缩短了MTR三个部分的执行次数,达到提高整体ETL数据处理效率的目的.
其他文献
张国宝rn国家能源委员会rn专家委员会主任rn中国光伏行业协会在2015年上半年光伏产业发展与下半年展望研讨会上表示,受可再生能源附加费不足、补贴发放程序冗杂等影响,仅15家
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
1月24日,清晨6时,零下6摄氏度.新年刚过,三十年一遇的寒潮突降宁波.设备能否“安然无恙”,机组能否稳定运行?牵动着国电浙江北仑第一发电有限公司每个人的心.rn该公司设备管
基于FPGA和单片机技术设计了一种等精度转矩转速测试仪。设计确定了等精度测试仪的测试流程和各模块电路结构,并进行了误差分析。采用QuartusⅡ软件对系统进行了模拟仿真。由于采用等精度测试法,提高了对转矩转速的测量精度,而且整个测试范围内恒定不变。使用便捷的即插即用接口,使得主测试机箱能够连接任意型号转矩转速传感器,通用性比较强。可以通过预置闸门时间来调节测量精度。模拟测试结果表明,该测试仪测试精
腰背痛是骨质疏松症中出现最早又是主要的临床表现。１９９５年以来，笔者治疗骨质疏松症腰背痛５３例。颇有体会，现报告如下。１ 临床资料１．１ 一般情况 本组５３例，男４例，女４９例。年龄最大９６岁，最小２５岁，平均
提出了一种全新的智能交通模型,该模型结合了传统的码分多址技术和可穿戴设备技术,利用可见光通信的基本理念和人体视觉的基本原理,为智能交通提供了一种低成本,高可靠性,易
本刊讯 通讯员徐永龙报道今年以来,华电福建永安发电公司紧紧围绕建设美丽电厂、建成绿色“永电”,全力打造“管理优、效益好、环境美”的企业目标,开展多角度、全方位对标管
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
还记得我第一次接触《中国发电》是在2012年,那时我刚刚到企业的宣传部门,之后的每个月,我都会早早地到公司的报刊架上去翻阅最新一期的《中国发电》.25日,我终于盼来了2016
描述了用GPS和GIS相结合估计实时路段行程时间与路口延误时间的应用。首先,根据不同的路口情况,确定了不同的路口检测点分布,并由此区别路段直行、左转、右转行程时间的不同;