【摘 要】
：
Shuffle是大数据处理过程中一个极为重要的阶段.不同类型的Task(或者Stage)之间通过Shuffle进行数据交换.在Shuffle过程中数据需要进行持久化,以达到避免重计算和容错的目的.
【机 构】
：
计算机体系结构国家重点实验室（中国科学院计算技术研究所）,中国科学院大学
【基金项目】
：
国家重点研发计划项目(2016YFB1000202),国家自然科学基金项目(61379042)
论文部分内容阅读
Shuffle是大数据处理过程中一个极为重要的阶段.不同类型的Task(或者Stage)之间通过Shuffle进行数据交换.在Shuffle过程中数据需要进行持久化,以达到避免重计算和容错的目的.因此Shuffle的性能是决定大数据处理性能的关键因素之一.由于传统Shuffle阶段的数据通过磁盘文件系统进行持久化,所以影响Shuffle性能的一个重要因素是I O开销,尤其是对基于内存计算的大数据处理平台,例如Spark,Shuffle阶段的磁盘I O可能拖延数据处理的时间.而非易失内存(NVM)具有读写速
其他文献
近年来新设计的薄膜型LNG船要求具有更大的舱容，能适应更恶劣的海况和在任何装载高度下安全运行，这就需要保证液舱结构在晃荡载荷作用下的安全性。论文51入等效静载荷系数，用以
【正】课文《军礼》是一篇选学课文,因此课前我决定让孩子们自学,小组讨论,然后稍点拨学习一下本课通过人物的语言、动作、神态表现人物心理进而反映人物精神品质的写法,做下
【正】在农村小学,不经意走进教室,常见到教师对个别不认真学习的学生进行这样的教育引导“你长大后难道就这样一辈子呆在这个农村吗……难道你就愿意与你父亲一样拿把锄头在
新课程改革进入关键期,但在许多教学问题的认识上仍存在误区。本文针对教师误读启发式教学这一现象,从对其核心问题进行梳理入手,进一步阐释了它的现代特征,并提出教师如何"
【正】前些日子,有件事情在我脑海里不断地萦绕着, 令我深思不已……那是个晴朗的星期天,我照常在家打扫卫生,九岁的女儿在她自个的房间不知干什么,我也无暇顾及,随她去吧。
<正> 1 设计目的 随着生产的发展,产品质量更加成为企业的生命线。工具处制造的模具、工夹具、刀量具、专用组合机床制造的质量,直接反映到工厂产品质量上。要保证产品质量,
大型LNG船液舱晃荡冲击载荷的合理预报是液舱结构安全性设计和评估的基础。针对部分装载的LNG船液舱的晃荡载荷开展数值预报方法研究,建立了合理的数值模型和计算方案。通过
【摘要】时间观念具有文化性。不同文化对时间持有不同态度，人们的行为也深深受到时间观的制约和支配。本文中，作者通过分析美国人时间观的特点及其成因来简略分析研究其时间观的意义，从而更深层次地理解语言与文化，增强跨文化交际能力，并学习其时间观中优秀可取的地方。 【关键词】时间观 文化 成因 意义. 一、概述 “时间就是金钱。”“你热爱生命吗？那就不要挥霍时间。因为生命是由时间构成的。”这是美国“建