【摘 要】
：
目前大数据处理过程较少关注任务所处理数据间的依赖关系,在任务执行过程中可能产生大量数据迁移,影响数据处理效率.为减少数据迁移,提升任务执行性能,从数据关联性及数据本
【基金项目】
：
国家高技术研究发展计划(863)(2013AA01A209);国家自然科学基金(61172048,61303250)~~
论文部分内容阅读
目前大数据处理过程较少关注任务所处理数据间的依赖关系,在任务执行过程中可能产生大量数据迁移,影响数据处理效率.为减少数据迁移,提升任务执行性能,从数据关联性及数据本地性两个角度出发,提出了一种数据关联性驱动的大数据处理任务优化调度方案:D3S2（data-dependency-driven scheduling scheme）.D3S2由两部分组成:（1）数据关联性感知的数据优化放置机制（dependency-aware placement mechanism,简称DAPM）,根据日志信息挖掘数据关联性,进而将强关联的数据聚合并放置于相同机架上,减少了跨机架的数据迁移;（2）数据迁移代价感知的任务优化调度机制（transfer-aware scheduling mechanism,简称TASM）,完成数据放置后,以数据本地性为约束,对任务进行统一调度,最小化任务执行过程中的数据迁移代价.DAPM和TASM互相提供决策依据,以任务执行代价最小化为目标不断迭代调整调度方案,直至最优任务调度方案.在Hadoop平台上进行的实验结果表明:较之原生Hadoop,在不增加作业完成时间的基础上,D3S2减少了作业执行过程中的数据迁移量.
其他文献
分析了国内外关于微生物遗传学、酶学在环境生物技术领域中的研究进展以及环境生物技术在污水治理学的开发与应用及其发展趋势，为选择实用的污水处理技术提供了参考依据。
以贵州省瓮安县茶叶种植为例,分析茶叶质量安全控制行为以及影响因素,提出了解决的具体办法和措施。
霜期农业产业化经营的基本模式——市场加农户，基本特征——市场风险大、管理难度大、集约程度大、获利能力大，辽宁霜期农业产业化的发展现状和发展趋势正体现了这一特征。制约
结合潍坊园林绿地建设与养护管理实际,就草本花卉在园林绿地应用中的常见类别、应用形式、存在问题以及应对措施等做了较为细致地分析,供广大从业人员参考。
随着雾霾范围持续扩大,各地PM2.5值连续爆表,环境不断恶化,家电制造业作为国民经济的支柱产业,不仅具有繁荣市场的作用,同样担负着加快生态文明的建设的重要使命。2015年5月8
文章从音乐素质教育的重要性和实施音乐素质教育的措施两个方面来论述高等职业技术院校音乐素质教育是校园精神文明建设、提高学生全面素质的一个重要环节，进而探索音乐素质教
为分析一特早熟柑橘品种日南1号贮藏期间物性与理化品质的变化规律及相关性,对该品种采取冷藏和货架贮藏2种方式,定期测定贮藏期间橘瓣的硬度、内聚性、可溶性固形物、果肉水
随着湿地生态旅游的日益兴起,对这样一个项目如何既能更多地借助于自然风光,结合自身条件进一步的开发,又能走可持续发展的道路,成为我们今天研究的重点。从多个角度进行了讨
兰坪县气候温凉，非常适合农村沼气工程建设。兰坪县农村的卫生医疗状况也差，进行沼气工程建设，有利于改善农村的卫生环境，调整农村产业结构，促进地方经济的发展。但由于兰坪县的交
以北方特定植烟区域为对象,通过田间调查取样和室内分析。旨在探讨施石灰对北方连作烟田土壤酸度和微量元素含量的影响,以期为北方连作烟田石灰改土效果的评价提供理论依据。