【摘 要】
：
Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Mem
【基金项目】
：
863计划“面向大数据的内存计算关键技术与系统”子课题“基于内存计算的并行处理系统与研究”资助
论文部分内容阅读
Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。
其他文献
近年来,有机—无机杂化钙钛矿由于合适禁带宽度、高吸光系数及长载流子扩散长度成为当前太阳能电池的研究热点。其中,电子传输层对电子传输及电子—空穴对的分离效果起着至关
采用原位共沉淀结合冷冻干燥工艺制备羟基磷灰石/羧甲基壳聚糖-明胶复合支架材料,然后利用X射线衍射仪(XRD)、傅立叶红外光谱仪(FTIR)检测其组成,扫描电子显微镜(SEM)观察微
萦绕一生的愁是李清照词作的一大特点。本文将李清照词中的"愁"分为三个时期进行研究:婚前到新婚期;婚后第二年到南渡前;南渡后。未婚前李清照词中的愁表现为闺中寂寞、伤春
近10年来,科学斗士方舟子与公众门神崔永元关于转基因食品是否安全的长期争论,虽然到目前为止仍然没有定论,但是却成功地把转基因食品安全问题从科学业内分歧变成了中国人的
为实现对鸭圆环病毒(DuCV)的快速检测,分析比对Gen Bank中登录的DuCV全基因组序列,在其保守区设计并合成一对特异性引物,将扩增的212 bp片段克隆入pMD-18T载体中,获得pMD18Du
<正>探讨语文课堂的教学效果,可以从"学习结果"进行反思。何为"学习结果"?陈隆升老师曾指出:主要指学生在语文课堂里通过对教学内容的学习而产生的结果状况,即通过学习活动实
甲骨文'少'、'小'是否同字,争议较大.考察所有用例,是解决问题的关键.'少'、'小'不是异体字,是一组同源字(词),'少'是由'小
<正>语文作业是语文课堂教学过程中的一个重要环节,一方面,它具有复习、巩固、深化知识的作用,是课堂教学中培养学生语文能力的一个重要环节;另一方面,它也是检测与评估学生
俄罗斯帝国瓷厂(Imperial Porcelain Factory)在1918年至1925年期间曾创作过一批形式和意义极为特殊的宣传瓷,结合当时的社会背景和前卫艺术思潮,参照图像学的研究方法,以代