高性能计算环境下基于负载感知的混合写缓冲系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:shuimeihua
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当高性能计算朝着百亿亿次级发展时,I/O性能仍然是一个主要的瓶颈,尤其是在数据密集型的科学应用中体现得非常明显。科学应用以数据模拟操作为主,其访问特征是阶段性地向并行文件系统输出大量中间结果,这种周期性的写请求会给并行文件系统带来突发性的写性能瓶颈。与此同时,高性能计算集群仍然以机械硬盘(HDD)作为主要存储介质。新型存储设备固态硬盘(SSD)由于其对随机访问不敏感等特性,已经被广泛应用在高性能计算环境当中。当前大多数的大规模高性能计算集群,使用SSD与HDD结合的混合存储系统,将SSD作为计算节点与HDD之间的高速缓冲。以突发性写缓冲(Burst Buffer)为代表的混合存储系统需要使用大量的SSD来缓冲所有的中间数据,并且依赖难以预测的计算阶段进行数据刷新,系统的建设成本仍然很高。为解决突发性写缓冲存在的缺陷,基于负载感知的写缓冲系统,首先通过分析不同的科学应用访问模式在不同负载情况下引起随机访问的现象及原因,设计一种服务端负载感知的随机识别方法。然后,基于该识别方法仅在SSD中缓冲随机请求,顺序请求被定位到HDD中。接着采用流水线方式管理数据的缓冲与刷新过程,从而减少对计算时间的依赖。最后使用AVL树结构管理缓存数据,保证数据被顺序写回HDD时的开销最小。在相同的实验环境下,基于负载感知的写缓冲系统的测试结果表明,该优化系统相比于突发性写缓冲系统,使用更少的SSD对并行I/O的写性能可以达到平均50%以上的提升效果。
其他文献
随着物流产业朝高速化、自动化和高通量方向飞速发展,自主移动机器人因其柔性和高运载能力的优势成为了室内物流操作的重要手段,而机器人的自主性严重依赖于其定位导航能力。目前已有基于电磁导轨或二维码的成熟定位导航方案,存在成本高且易被环境所约束的问题,难以满足室内物流操作的应用需求。而视觉SLAM能以低成本感知获取丰富环境信息,可大幅提高机器人的自主能力与环境适应性,加之多信息融合技术能够弥补单传感器所存
薪酬是企业经营过程中吸引人才、鼓励人才发挥价值的根本因素,也是企业鼓励更多的工作人员发挥自身积极性、创造良好收益的有效驱动因素,同时薪酬还能够提升企业整体的生产效率,促进企业健康快速的发展。本文以新疆科技生产力促进中心有限公司作为研究的对象,通过实地的调查和研究,对该公司当前的发展形势进行了一定的分析,通过研究发现,该公司当前已经实现快速有效的发展,但是在整体的发展过程中也存在着一系列的问题,公司
通信以话音、图像、数据为媒体,通过光或电信号将信息传输到另一方。随着科技的进步与发展,通信正越来越多地融入我们的工作和生活中。为了保证通信质量的稳定可靠,我们通常
随着我国经济快速发展,空气污染给生态环境和人民生命健康带来了严重的危害,我国在大气污染治理方面也加大了监督力度与防治措施。尤其是“一带一路”的战略布局和“西部大开发”战略给西北五省(区)的经济发展带来良机和发展空间,但其脆弱的生态环境和复杂的地形地貌,使大气环境状况不容乐观。基于此,本文选取2015-2018年西北五省(区)33个地级市、13个自治州和5个地区的161个监测站点的大气污染物浓度逐时
风电出力取决于来风,具有较大不确定性,大规模并网发电会严重影响电网经济可靠运行。因此,深入研究可处理不确定性问题的含风电系统优化调度模型对电网的经济可靠运行具有重
目前,利用再生水回灌补给地下水的同时也会引入痕量有毒有害物质,从而对地下水造成潜在风险。明晰再生水回灌过程中药物和个人护理品(PPCPs)以及抗性基因(ARGs)在地表水和地下水中的污染状况,对环境风险评估和管理具有重要意义。另外,为防止PPCPs污染的进一步扩展,亟需寻求经济高效的处理工艺强化去除PPCPs。环境中PPCPs的存在水平多为纳克和微克水平,因此建立准确可靠的检测方法至关重要。通过优
目的:评价亚砷酸注射液联合地西他滨为主方案治疗WPSS评分高危骨髓增生异常综合征(myelodysplastic syndromes,MDS)的中西医临床疗效、不良反应和生存情况,为该方案治疗高危MDS提供临床依据。方法:回顾性分析2015年9月~2020年1月在广东省中医院住院治疗,应用亚砷酸注射液联合地西他滨为主方案治疗2个及以上疗程的10例WPSS评分高危MDS、1例慢性粒单核细胞白血病(C
多元化发展成为当今世界的代名词,伴随着中国的改革开放和现代信息技术的发展,我国的文化价值观念也产生了较大的变化,中国自古就是多民族国家,团结一致和民族较强的认同感使得国家统一愿望强烈,随着世界环境的变化,市场经济体制的影响下,中国过去单一的文化价值观被打破,逐渐形成多元化的价值时代,我国大学生的道德观念受到各种价值观的冲击和碰撞,面临多元文化背景下的大学生道德教育也需要与时俱进、开拓创新。本文从之
大规模图的可达性查询是指在给定的图中判断从初始结点到目标结点间是否有路径相连。可达性查询是图的基本操作之一,它吸引了许多学术上和工业上的研究者来研究这个问题。目
同时定位与稠密地图构建是移动机器人实现环境探索和导航的关键。如何在光照和视角变化大的环境下保证相机姿态定位的准确,如何在利用现有图像信息下估计稠密深度图,如何对稠密地图进行表达以及每次观测的融合,是同时定位与稠密地图构建需要克服的关键问题。本论文在总结前人工作的基础上,对移动机器人同时定位与稠密地图构建进行了研究。针对光照和视角变化大的环境下相机姿态定位中的特征点匹配问题,稠密深度图的估计问题,以