【摘 要】
：
Spark作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理,有助于更好地开发Spark应用程序和进行性能调优。
论文部分内容阅读
Spark作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理,有助于更好地开发Spark应用程序和进行性能调优。在执行Spark的应用程序时,Spark集群会启动Driver和Executor两种JVM进程,前者为主控进程,负责创建Spark上下文,提交Spark作业,并将作业转化为计算任务,在各个Executor进程间协调任务的调度,后者负责在工作节点上执行具体的计算任务,并将结果返回给Driver,同时为需要持久化的RDD提供存储功能。
其他文献
在了解Socket之前,首先要了解什么是客户端/服务器（client/server）模式。服务器通常采用高性能的PC、工作站或小型机,并采用大型数据库系统,如ORACLE、SYBASE、Inf ORMix或SQL
针对当前高职院校教师教学质量测评指标体系权重设计的科学性不足等问题,应用FCM算法从学院近5年的测评数据聚类分析出相应的决策属性值。同时,在教师教学质量测评指标体系权
目的探讨他汀类药物对于稳定期慢性阻塞性肺疾病（COPD）患者CAT评分、mMRC评分和BODE指数的影响。方法选取2013年1月至2014年6月于本院就诊的稳定期COPD患者160例,随机分为他汀
目的探讨对氧磷酶-1（PON1）有机磷脂酶活性及芳香酯酶活性与急性冠状动脉综合征（ACS）的相关性。方法以2014年1月至2015年7月收治的153例ACS患者为ACS组,47例冠状动脉造影结果阴性
健美操是在音乐的伴奏所进行的项目,赛事是接二连三,那么发展运动员赛前专项训练的手段也是很重要的。好的训练手段,是取得好成绩的重要基础。本文以广西民族师范学院健美操
成功的课堂教学要讲究教学方法。深奥复杂的知识经过教师巧妙加工讲出来，就会变得生动、形象、简单化，使学生听后清晰明了，容易理解掌握知识。因此，课堂教学的好坏直接影响到教学
在本科院校的酒店管理专业中，教学性实训和校外实训是实践环节的两种常见方案。校内生产性实训是以上两种方案的必要补充。对本科院校酒店管理专业校内生产性实训的意义、特点
特高压直流输电(UHVDC)以其特有的大容量、远距离、高电压等优点,在国内迅速发展起来。针对特高压直流输电系统普遍存在的网侧非特征谐波电流问题,展开了一系列的研究。首先
英语学科核心素养培养的相关研究在我国基础教育阶段正如火如荼的进行。从小学、初中、高中三个阶段总结目前该领域的相关研究成果,可为日后我国学者在该领域的深入研究提供
传统基于人的经验或认知的指挥模式难以有效应对瞬息万变的信息化战争,准确快速理解战场态势成为难题;现有面向作战指挥的计算机辅助决策尚不能以人的认知模式来理解态势,难