面向固态硬盘的Spark数据持久化方法设计

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:zyyafeng621214
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于固态硬盘(solid-state drive,SSD)和硬盘(harddisk drive,HDD)混合存储的数据中心已经成为大数据计算领域的高性能载体,数据中心负载应该可将不同特性的数据按需持久化到SSD或HDD,以提升系统整体性能.Spark是目前产业界广泛使用的高效大数据计算框架,尤其适用于多次迭代计算的应用领域,其原因在于Spark可以将中间数据持久化在内存或硬盘中,且持久化数据到硬盘打破了内存容量不足对数据集规模的限制.然而,当前的Spark实现并未专门提供显式的面向SSD的持久化接口,尽管
其他文献
VLAN(Virtual Local Area Network)即虚拟局域网已经成为局域网中广泛使用的技术。VLAN应用在隔离广播风暴、优化组网方式等方面已经显示出较其他网络超凡的优越性能。文章概要
子串匹配问题是信息检索、信号处理以及生物信息学等领域中的研究重点.随着文本数据的快速增长,在大数据集上高效地完成近似子串匹配是一项挑战.另一方面,多核架构已经成为当
基于演化博弈论分别构建了无线资源管理中功率控制和垂直切换的形式化模型,设计了一种基于定价机制的功率控制收益函数,根据3GPP对无线通信业务的分类,将切换判决过程划分为4
首先,分析西部民族地农业信息服务在大数据和城镇化背景下的需求;其次,从数据集成、服务模式、保障能力、跨界合作和技术革新等五个方面,阐述大数据对西部民族地区农业信息服
华侨华人是中华民族在海外的延伸,在文化传播过程中有着重要意义。在华就读的华侨华人大学生更是肩负着在世界传承中华文化的重任。武术是中华文化的重要载体之一,在大华文教育
随着保护环境政策的深入人心,垃圾处理成为环境保护的一项重要措施,文章简要介绍当今垃圾处理方式,并阐述垃圾焚烧工艺中焚烧炉及烟气脱酸相关方法。
流媒体技术与互联网相结合,可以提高多媒体资源的共享率,实现施工现场与教学课堂的无缝对接,为解决教学过程中的实训难题,推动高职建筑施工技术课程教学改革提供了新思路。
随着我国社会市场经济体制的不断改革、发展与完善,对于行政事业单位部门预算管理的要求与标准也随之提高。为了不断完善事业单位部门预算管理,文章首先介绍了预算管理的涵义
了解决已有研究成果无法有效处理障碍空间中的组反k最近邻查询问题,提出了障碍物环境中基于Voronoi图的OGRkNN查询方法,该方法获得的结果集是将一组查询点中任意一点作为障碍kN
目的:探讨基础护理实训教学中如何培养护生的沟通能力。方法:方便性抽样选择2012级护理学专业高职护生96人,随机分为实验组和对照组各48人,实验组采用案例分析讨论、情境角色扮