【摘 要】
:
分布式内存计算平台Spark是海量数据处理领域的最新技术进展。RDD是Spark中海量数据的抽象表达。交互式应用是Spark平台的一类典型应用,具有较强的请求到达不确定性。交互式S
论文部分内容阅读
分布式内存计算平台Spark是海量数据处理领域的最新技术进展。RDD是Spark中海量数据的抽象表达。交互式应用是Spark平台的一类典型应用,具有较强的请求到达不确定性。交互式Spark应用运行中采用动态资源分配管理,即依据交互式请求到达的强度,动态增减应用占用的计算资源,以提升平台资源利用率。然而,既有动态资源分配机制无法保存被关闭任务执行器中的缓存RDD数据。在RDD数据复用时将造成重计算开销,从而影响作业的执行效率。针对上述问题,本文提出面向交互式Spark应用的RDD数据动态放置策略。该策略的核心思想是,将缓存RDD动态迁移至未关闭的任务执行器存储空间中,提高交互式Spark应用的执行效率和平台的内存利用率。本文的主要贡献如下:1)提出了面向交互式Spark应用的缓存RDD数据动态放置策略。该策略首先以RDD数据分区为粒度,选取RDD数据缓存完整度、重计算开销、访问频度、迁移开销为主要因素,量化定义缓存RDD数据分区的放置收益。其次,以放置收益最大化和关闭CPU资源最大化为目标,利用粒子群算法,优化选取缓存RDD数据分区放置方案,从而实现对高价值RDD分区的缓存和对任务执行器内存空间的充分利用。2)提出了基于马尔可夫模型的交互式应用非活跃期预测算法。针对非活跃期长短不一,数据放置存在“抖动”,降低数据放置有效性的问题,本文依据历史非活跃期持续时间,利用马尔可夫模型,设计了交互式Spark应用的非活跃期时长的变化趋势预测算法。在该预测的基础上,结合历史数据放置的时间成本,决策后续非活跃期的数据放置触发时机。3)综合本文的研究成果完成基于RDD数据动态放置的Spark系统原型实现。在Standalone的部署模式下,利用TPC-H on Hive的基准测试查询在交互式Spark SQL环境下对本文提出的方法进行了较为充分的性能测试和分析。性能测试结果表明,与Spark既有动态资源分配比较,增加RDD数据动态放置方法可使交互式查询的请求响应时间最大缩短97.58%,平均缩短42.61%。
其他文献
随着航天遥感技术的发展,遥感影像的获取手段和能力都有了极大的提高,各类不同的遥感影像不可能同时满足所有的使用需要。多源遥感图像数据融合技术是对影像信息获取与处理技
传统的红外器件存在诸多无法忽视的缺点,例如制备工艺比较复杂,生产周期比较长,较难制备大尺寸器件,成品合格率较低等,造成其价格过高,工程应用十分受限。相比传统的红外材料,硫系玻璃不仅显著地扩展了红外光学系统材料的设计和材料选择范围,而且完全克服其劣势,具有很大的应用潜力和工业价值。本文系统研究了硫系玻璃模压系统设计及模压工艺,首先设计了硫系玻璃模压系统设备,并制备出硫系玻璃预制件,再利用XRD(X-
[摘要]目的 比较骨水泥双极式半髋关节与全髋关节置换治疗高龄股骨颈骨折的治疗效果。 方法 选取2008年2月~2012年2月于我院接受诊断和治疗的高龄股骨颈患者108例,随机分为半髋关节置换组与全髋关节置换组两组,每组54例,观察比较骨水泥双极式半髋关节与全髋关节置换治疗高龄股骨颈骨折的治疗效果。 结果 全髋关节置换组的手术时间平均为(110.3±5.2)min,明显长于半髋关节置换组的(82.3
目的探讨甲状腺检查在外科体检中的价值。方法回顾性分析我院2009年12月~2010年12月体检科进行健康体检的7000例的临床资料,均采用触摸加吞咽动作进行甲状腺触诊检查,分析甲状
知识经济是企业实现经济增长的重要手段,知识经济的创新能力与相应的管理方式决定了企业发展速度。
对于英语学习者来说,英语阅读能力的提高是其他英语能力发展的基础。阅读能力的提高不仅有利于帮助学生学习词汇,扩大知识面,同样也有利于学生的写作能力以及其他语言能力的
会计理论是人类在长期的会计实践基础上、经过思维运动所产生的关于会计的理性认识,也就是概念、观点的体系,反过来又用于指导会计实践。会计理论的研究方法就是在会计实践的基
祝德麟(1742—1798),字趾堂,号芷塘,海宁袁花镇(今属浙江嘉兴)人。少时聪颖,未冠登第,晚年罢官回乡,后迫于生计,至云间书院讲学。祝德麟师渊明、学老杜、效东坡,为赵翼入室弟
我国工程教育的规模已居世界前列,但工程教育质量不容乐观。针对我国工程教育存在的突出问题,借卓越工程师计划的实施,可着重从人才培养模式、实践环节、师资队伍和专业认证体系
一、新媒体评论更强调时效性互联网的迅猛发展,使人类社会的信息传播和舆论进入了网络时代。由于网络的开放程度很高,也由于人们在网上发表评论相当自由、快捷,从而孕育和产生了