Spark系统的形式化建模与性能分析

来源 :扬州大学 | 被引量 : 0次 | 上传用户:zyz2574100
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Spark作为一个分布式大规模数据计算处理框架,由于其优异的性能表现和兼容性,它的用户数量一直在大量增长,而通过对它进行性能评价可以最大化地利用系统资源,减少系统空闲率。性能评估进程代数(Performance Evaluation Process Algebra,PEPA)是随机进程代数的一种,它用代数的方式构建系统模型,将系统分解成几个交互的组件,能够比较清晰地反映系统的层次结构,降低模型构建和分析的难度。随机Petri网(Stochastic Petri Nets,SPN)既有直观的图形描述,也有严格的公式定义,能够较为清晰地反映系统状态的变化过程。本文针对Spark系统的性能评价与分析展开研究,主要研究内容包括以下三个方面:一、构建Spark系统的形式化模型。通过分析Spark系统的整体架构和运行流程,将Spark系统抽象为多个交互的组件,从而得到系统的PEPA模型。根据转换规则将PEPA模型转换成SPN模型,并分别给出两个模型的相关参数。二、提取Spark系统模型的性能指标。分别对得到的两种模型采用流逼近方法和随机模拟方法来提取模型中重要的性能指标:响应时间、利用率和吞吐量。为了模拟系统中执行某个服务的过程,本文提出了服务流获取算法和响应时间模拟算法。通过追踪变迁的转移获得执行某条服务流的时间,最终得到系统在稳态情形下的响应时间。针对PEPA模型,则采用了一种近似求解的流逼近方法,该方法通过微分方程组来逼近系统状态的转移过程。三、评价并分析Spark系统的性能。从响应时间、利用率和吞吐量三个维度对Spark系统的性能进行了评价与分析。通过分析系统的各项参数对系统性能指标的影响来完成Spark系统的性能评价。
其他文献
奥地利作曲家沃尔夫冈·阿玛多伊斯·莫扎特(Wolfgang Amadeus Mozart)在短暂的一生中写了800多部作品,体裁形式涉及到各个领域,包括歌剧、协奏曲、交响曲、钢琴奏鸣曲等等,
通过对在无锡超市购物的消费者以随机抽样方式进行问卷调查,发现食品碳标签使用态度受到消费者个人特征、产品属性、消费情境、碳标签认知、环保知识等因素影响,为使消费者能
中华书局1984年点校本《徂徕石先生文集》中关於石介高足张续之名存在两种写法,除张续外,还有张续。张续见诸该书附录四《事迹评论》引欧阳修云:“先生二十年束鲁,能使鲁人皆好学
党的十八届三中全会对于我国资本项目可兑换进行了明确的规划,要求推动资本市场的双向开放,有序的提升国际资本与金融交易的可兑换,在健全的宏观审慎管理框架下,确立对外债务与资本流动的管理体系,加快推进我国资本项目的可兑换。自此,我国跨境资本流动规模越来越大,尤其是投机性极强的短期资本频繁的通过各种渠道进出我国,呈现双向波动剧烈的态势,对我国的影响也越来越明显。短期跨境资本流动不但可以通过进口、外商直接投
作为文明的发源地,我国的四大发明曾伫立于世界民族之林,其中造纸术对后世的影响颇深,对保存古代文明做出了不可磨灭的功绩。然而,随着工业化、产业化、信息化的不断革新,科技的不断进步,传统手工造纸技艺的传承与发展受到巨大挑战。据调查显示我国纸产量中手工制纸占比小于1%,而大于99%的纸为机器制纸。如何利用现代传播媒介对传统手工造纸技艺进行传播和宣传,进而使其得到保护和发展,是文化遗产研究中亟待需解决的问
在培养的家兔主动平滑肌细胞上观察到,纤维蛋白能够剂量依赖性地刺激平滑肌细胞增生,刺激胶原合成,增加细胞内胆固醇堆积,提示纤维蛋白很可能参与了动脉粥样硬化的发生。
本文阐述了生产西湖龙井茶优异的生态环境和人文历史,与西湖申遗的关系,对西湖龙井茶的生长现状进行了调研,分析存在的问题,并提出了保护西湖龙井茶产地生态环境,必须采取的措施。
隔热铝合金型材由中间隔热材料将内外两部分铝合金型材连接而成,其隔热材料与铝合金复合后的纵向抗剪强度的大小,直接影响了铝合金隔热型材的有效惯性矩的大小.本文通过隔热
提出了应用扩展等面积法(EEAC)暂态稳定分析的FACTS控制器统一模型,将FACTS对暂态稳定的作用通过对电力系统的串联和并联控制来描述。研究了这一模型对电力系统网络方程、转子运动方程和 EEAC单机
随着金融自由化程度加深,新兴市场与其他国家之间的资本往来日益密切,同时,其资本流动也易受国际金融环境的影响,从而引发本币升值或贬值,干扰国内金融稳定。因此,本文选用外汇市场压力(Exchange Market Pressure——EMP)这一指标以全面衡量货币的升贬值压力,旨在探究新兴市场的各类跨境资本流动对其外汇市场压力的影响,从而发现影响程度较大的资本类型及其流向,为政府采取管控措施提供参考意