【摘 要】
:
随着大数据计算需求量的快速增长,大数据计算平台的能耗问题日益突出。大数据平台高能耗造成了大量二氧化碳排放导致全球变暖等诸多环境问题。大数据计算平台为各领域提供了
论文部分内容阅读
随着大数据计算需求量的快速增长,大数据计算平台的能耗问题日益突出。大数据平台高能耗造成了大量二氧化碳排放导致全球变暖等诸多环境问题。大数据计算平台为各领域提供了快捷的计算服务,因此被广泛使用。由上述内容可知,基于大数据计算平台的能耗研究将具有非常重要的意义。Hadoop生态下的MapReduce框架以分布式计算的方式提供了大规模数据计算的有效途径。然而,MapReduce框架在性能上以及实时处理能力上存在的不足导致Spark计算框架应运而生。当前Spark作为高效、开源的大数据处理框架已成为大多数企业和数据中心的首选。Spark本身提供了FIFO和FAIR两种调度策略,但原生调度策略在任务调度过程中没有考虑能耗问题,因此存在很大降低能量消耗的空间。面对Spark调度中存在的能耗问题,本文完成了如下工作:1.本文提出了一种能效关系策略表用于记录任务在进程上的运行时间和能耗。能效关系策略表在任务调度过程中起到了关键性的指导作用。2.依据Spark提交作业、划分阶段以及分配任务的过程,本文构建了Spark阶段能耗模型、Spark作业能耗模型和Spark应用能耗模型,并提出了Spark能耗调度问题的目标函数。3.以能效关系策略表和Spark能耗模型为基础,本文提出了A型和B型两种能耗感知的Spark调度算法。A型算法在尽量满足数据本地性的条件下,贪心地选择低能耗的节点优先分配任务。B型算法为进一步优化A型算法在任务较少的情况下运行时间过长的问题,将任务均衡分配在节点上,从而缩短运行时间。两种类型的调度算法各自有适用的场景。综上所述,本文提出的两种能耗感知的Spark调度算法均具有能耗感知,动态优化调度的特点。本文从Hibench基准测试集中选取了四种工作负载,做了广泛的实验。实验结果表明本文提出的两种Spark节能调度算法均能有效降低Spark应用程序产生的能耗。与原生调度策略相比,A型算法平均能够降低22%到34%的能量消耗,B型算法平均能够降低20%到31%的能量消耗。
其他文献
目的探讨B-Lynch缝线术治疗剖宫产术时宫缩乏力性产后出血的疗效。方法采用回顾性分析方法对19例B-Lynch缝线术治疗剖宫产术时宫缩乏力性产后出血病例进行分析。结果19例采用
日前,智业软件股份有限公司(以下简称"智业软件")披露了IPO招股说明书,公司拟向社会公开发行2260万股新股,拟募集资金约3.04亿元。其中8823.73万元用于智慧医院信息平台技术改造
目的探讨rhEGF原位凝胶及对大鼠烧伤创面愈合的生物学功能。方法通过对大鼠烧伤模型来对比rhEGF原位凝胶及复方凝胶的创口愈合效果,动态观察烧伤后使用原位凝胶及复方凝胶在不
<正>对考生分析问题、解决问题能力的考查是高考重要考查点之一,考试说明中明确要求:解题中能选择有效的方法和手段对新颖的信息、情境和设问进行独立思考与探究,建设性地解
深圳市智动力精密技术股份有限公司(以下简称“智动力”)IPO获证监会发审委通过,公司将登陆创业板。本次公司拟发行不超过3130万股A股,募集资金2.45亿元,拟投向消费电子产品功
据悉,中国铁路总公司正在按照改革路线图和时间表,强力推进铁路企业公司制改革,年底前要完成中铁总非运输企业的公司制改革。
通过总结10例内镜下直肠类癌粘膜剥离术后患者的胃肠道护理,认识到剥离术后采取针对性的禁食和饮食的调节、心理护理、保持大便的通畅,以及腹痛和大便等情况的观察,对预防术后肠
目的 探讨杀虫双中毒患者常见问题的护理对策。方法 将循证护理应用于急性杀虫双中毒患者,给患者有效的心理护理,解决患者呼吸衰竭、肺部感染、泌尿系感染、褥疮等问题的实践过
纹样作为一种自然而高雅的文化符号,有着其自身的人文价值,其中记载着不同民族的风俗习惯和文化信仰。中国朝鲜族也在其自身的历史中发展出了丰富多彩,形式各异的装饰纹样,它们都各自含有寓意,有的象征吉庆,有的象征昌茂繁荣。本论文的研究对象“十长生”纹样则蕴含着健康长寿的寓意。顾名思义,“十长生”就是十种象征长生的自然物像,集中体现着中国朝鲜族对健康长寿的渴求。具体来讲,“十长生”通常包括,日、云、山、石、
随着铁路通信技术的发展,传输网络的规模越来越大,网络复杂性日益提高,设备的分散性、接口的多样性以及各设备厂家之间设备的相对独立性,使得现有的网管系统缺乏对全网资源、网络