Spark中一种高效RDD自主缓存替换策略研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:suqingcsj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于并行计算框架Spark缓存替换算法的粗糙性,LRU(least recently used)算法并未考虑RDD的重复使用导致易把高重用数据块替换出内存且作业执行效率较低等问题。通过优化权重模型和改进替换策略,提出了一种高效RDD自主缓存替换策略(efficient RDD automatic cache,ERAC),包括高重用自主缓存算法和缓存替换分级算法,可实现高效RDD的自主缓存和缓存目标的分级替换。最后利用SNAP(Stanford Network Analysis Project)提供的标准数
其他文献
目的观察腹腔镜联合促性腺激素释放激素激动剂(Gn RH-α)治疗中重度子宫内膜异位症的临床疗效以及安全性。方法选取子宫内膜异位症患者110例,随机分为2组(n=55)。在腹腔镜治疗的
以坪石(二)站为例,介绍了春日屋数值相关测流方法的具体应用.近几年应用表明,该方法测流精确、可靠、安全,施测特大洪水流量过程效果良好.
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
普华永道的一项报告显示,78%的消费者认为,他们更愿意购买那些落实了可持续发展目标的企业所生产的产品和提供的服务。继马云作为唯一的中国企业家受邀担任联合国“可持续发
2013年12月14日,国务院颁布了《关于全国中小企业股份转让系统有关问题的决定》,对全国股份转让系统(俗称新三板)的扩容、转板、审核、投资者准入等问题作出重要批复,标志全
2017年,国务院颁布了国家职业资格目录清单,清单中不再包含会计从业资格证书,意味着今后能否上岗从事有关会计工作,不是主要以证书为标准,而是看是否真正具备相应的技能,这一
桃树根癌病是由根癌土壤杆菌(Agrobacterium tumefaciens)引起的、严重为害桃生产的一种细菌性病害。生物防治是目前防控根癌病最有效的方法。植物体内存在大量的具有防病、
研究性学习注重学生创造性思维能力、阅读能力、写作能力以及口语交际能力的培养。我A教学鲁迅先生的《阿Q正传》时,有意识的运用研究性学习这种较为有效激发学生创造性思维的
目的:应用运动平板试验联合体表超声研究颈动脉粥样硬化与冠状动脉粥样硬化的关系及对冠心病的预测价值。方法对90例运动平板试验患者采用高频超声探头测定颈动脉内中膜厚度(IM
庸者鬻货,智者鬻情。与其销售产品,不如销售体验。试看今日商场,竟是谁家之天下,产品供应商,还是品牌体验提供者?透过本期体验营销这一洋理论的本土实践我们看到,无论是出于