曙光高性能计算机上应用IO行为采集与量化分析

来源 :山东大学 | 被引量 : 0次 | 上传用户:wobushilaji
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现今,随着科学技术的进步,高性能计算(High Performance Computing)在气候模拟、流体力学、分子动力学、生物信息学等很多领域都得到了愈加广泛的应用。这些应用程序大都是科学计算应用程序,它们不断朝着更高分辨率、更大并行规模的方向发展。对于高性能计算机来说,能与这种发展趋势相匹配的是高性能计算机的计算能力在不断提升,然而其存储系统的发展却相对缓慢,“存储墙”问题越来越突出,计算与IO的速度越来越不匹配,设计和构建平衡体系结构越来越困难。在实际的生产环境中,对于许多科学计算应用来说,IO性能而非计算性能在不少场景下己经成为限制其整体性能进一步提升的瓶颈。因此,在不能改变与升级高性能计算机存储系统软硬件架构的前提下,从文件系统和应用IO角度出发,如何全面而正确地理解应用的IO行为特征,快速而精准地定位应用的IO热点,缓解和改善“存储墙”问题成为一个重要的研究课题。为了探索与理解HPC应用IO行为,量化分析HPC应用IO性能,本文在一个高性能计算集群系统上设计、实现与部署了 一套集IO行为信息采集、存储与可视化分析功能于一体的IO资源监控与分析系统-IOStar。IOStarg部署于曙光高性能计算集群系统上,在真实生产环境中作为系统工具应用面向HPC应用程序提供IO量化分析服务,定位并分析IO热点。IOStar包含三个子系统:IOStar采集子系统,IO日志数据存储子系统和作业IO分析与可视化子系统。IOStar采集子系统负责采集计算节点上共享文件系统客户端定制的IO日志信息和作业进程信息,然后通过以太网将IO日志信息发送给IO日志存储子系统,将作业进程信息发送给作业IO分析子系统;IO日志数据存储子系统负责收集IO日志信息数据并将其持久化存储到分布式日志收集和存储服务集群;作业IO分析子系统负责量化分析应用的IO行为、特征和性能问题,以可视化分析结果的形式展示,为分析应用IO热点,优化应用IO性能提供有力参考。利用IOStar采集并存储的IO日志信息数据,本文提出了一种HPC应用IO行为分析与性能诊断方法。通过量化分析IO日志信息数据,从应用、文件和进程三个角度,以IO带宽、IOPS(IO Operations per Second)、读写数据量、文件IO访问模式等量化指标作为分析参数,来进行HPC应用IO行为分析与IO性能诊断,分析应用IO热点。通过本文的工作,可以为未来在更大规模高性能计算机系统上部署更全面的系统资源监控与分析平台积累经验,为未来HPC应用程序IO模块设计提供优化建议。
其他文献
目的:探讨颞颌关节磁共振检查对于髁突自溶性吸收的诊断价值,总结髁突自溶性吸收的MR表现。材料和方法:回顾性分析16例临床诊断髁突自溶性吸收的颞颌关节磁共振图像,常规磁共
会议
关于小学科学教育的开展需要以其核心素养为前提,进一步培育学生的人文素养、创新精神、学习态度、生活方式、责任心、实践能力等六个层次的核心能力,但是小学层次大多聚集在
黄淮海平原是我国玉米主产区,该区水资源量与耕地面积不匹配,是我国水资源最为紧缺的区域之一。然而,该地区夏玉米生产中灌溉水和氮肥用量高、利用效率偏低,不仅造成资源浪费,而且导致地下水漏斗区扩大和土壤质量恶化,亟需优化玉米水肥施用方案。为实现玉米高产和水氮资源高效利用,于2018和2019年在山东省泰安市开展了玉米微喷补灌水氮互作效应试验研究。试验采用二因素裂区设计,主因素为微喷补灌处理,设定4个目标
海底管道是深海油气田的生命线,在复杂海洋环境的作用下,不可避免的会发生泄漏,从而影响油气田的正常生产,造成巨大的经济损失,甚至破坏海洋生态环境,酿成严重的生产事故。因
医学图像分割是生物医学图像处理中的一个重要问题。医学图像的高效、自动分割可以帮助医生辅助诊疗,也为研究者更好地了解生物组织的解剖信息提供了有力的技术支撑。医学图像易受噪声干扰、灰度不均匀性等特点成为影响分割性能的主要因素。近年来基于特征编码和解码结构的医学图像分割方法逐渐成为主流,但是不少方法在编码器的设计上没有考虑医学图像自身的特点,例如多模态、空间邻域关系等信息,尤其在构建端到端的深度神经网络
以北京师范大学为例,近两年寻求心理咨询的研究生人数逐年递增,来访问题主要集中在情绪、自我提升、情感、职业生涯、人际关系、学业问题、家庭关系等方面;新生心理健康测查
目的:液相微萃取方法具有应用范围广、富集倍数高、易操作、价廉和有机溶剂用量少的突出优势,但常作为其萃取剂的部分传统有机溶剂具有毒性较大且萃取效率有限的缺点。为了克服上述传统有机溶剂的缺点并响应“绿色化学”的号召,本研究将基于反胶束溶液建立更加绿色高效的液相微萃取方法,以对复杂的中药样品中的活性成分进行提取、纯化和浓集,结合高效液相色谱法进行测定,并将其结果与使用传统有机溶剂的液相微萃取方法所得结果
人参是传统名贵中药大品种,在我国的栽培面积和产量均居世界首位。然而,红皮病是人参种植区普遍发生一种非侵染性病害,其病征表现为参根、表皮呈现红褐色或橘黄色的病斑,须根断裂,甚至全参周皮裂纹、腐烂,同时伴随皂苷、氨基酸及多糖等活性成分含量明显减少。红皮病从外在形态和内在质量均严重影响着人参的品质等级。据统计,红皮病在中国、韩国、加拿大等国家均有发生,轻病区的发病率约为20%-30%,重病区高达80%以
案例中行为人通过账号充值方式,接受赌徒投注,通过出租账号、出售道具等方式,接受赌徒投注。其中存在的赌博逻辑,即参与游戏所使用的虚拟财产可以通过购买和交易等方式,与现
对于自动复叠制冷系统而言,最重要的就是非共沸混合制冷剂的选择以及配比,结合目前环境保护的要求,选取环保又能够达到同样制冷效果的制冷剂是制冷行业研究的热点问题,由于混合工质的工作机制相对纯工质来说较复杂,增加了实验探究的难度,所以本文结合分子动力学模拟方法从微观角度对纯工质、二元混合工质和三元混合工质进行模拟,探究出混合工质的最佳配比与实验探究结果进行对比分析。(1)根据全面的非共沸混合工质选则,分