基于应用行为分析的高性能计算机存储系统优化技术研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:duoduo5211314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着科技的进步,科学计算在生活中发挥着越来越重要的作用。高性能计算机是其中的重要基础。受摩尔定律的驱动,高性能计算机计算能力一直在不断加强,但是相应的存储系统的发展并没有跟上计算能力进步的脚步,计算系统与存储系统的性能差异越来越大,造成了‘‘存储墙’’问题。针对此,本文研究如何通过分析和学习应用程序和存储系统的行为,来优化存储系统服务能力,提升应用程序I/O和访存性能。本文的主要工作包括:1.提出利用端到端、低开销I/O监控对高性能计算I/O性能行为进行协同分析。本文基于国产超级计算机神威太湖之光的生产环境构建了一套全I/O路径的监控和I/O行为分析系统Beacon。利用该系统,经过一年多对用户行为和系统状态的总结,发现了一系列高性能计算机存储系统的问题,包括:静态的计算节点和I/O转发节点连接导致负载不均衡;共享I/O转发节点应用程序间的严重I/O性能干扰;性能异常的I/O转发节点和后端存储服务器会严重拖慢应用程序I/O性能等,并在此基础上给出针对性优化方案。2.针对现代高性能计算机的I/O性能问题与I/O转发层密切相关的特点,本文提出了基于应用程序历史I/O行为的转发层资源动态分配方法DFRA,实现并部署于国产超级计算机神威太湖之光上。DFRA通过利用Beacon提供的应用程序历史I/O行为,预测其对I/O转发资源的需求并探测I/O冲突,进而动态调整应用程序的I/O转发资源分配,以改善负载不均衡、消除干扰,最终有效提升应用程序性能。结果表明,DFRA在最好情况下会提升应用程序I/O性能16倍以上,为神威太湖之光上的大规模应用程序节省了上亿核时。3.新型存储介质(如SSD)已经开始在高性能计算机中部署。本文对高性能计算程序如何利用本地高速SSD作为内存扩展展开研究。首先利用首创的低成本内存变量分析工具分析了38个不同计算程序的内存行为,并发现科学计算程序的一些独特属性,包括:内存行为在不同输入的情况下有较好的相似性,变量的数目较少,单一变量占据内存空间更大等。利用这些特性,进一步提出了混合内存架构上的变量级别的内存调度方法DeepMap。结果显示,在不需要修改应用程序代码的情况下,DeepMap相比于传统基于交换区的内存扩展方案平均节省51.4%的时间。
其他文献
在我国西北河湟地区至今保存着一些明代以来的藏传佛教、道教及其他相关古建筑遗存,这些建筑木构上既保留有14世纪末、15世纪初的原构彩画,也有16至19世纪历代的补修重绘,还有近代的重建新绘。这些遗存为我国地方性建筑彩画的研究提供了重要的例证。文章从民族民间美术科学研究和保护的角度出发,展开了河湟地区古建筑彩画的考察与分析,为当地当代的建筑文物保护与维修工作提供参考。  通过文化人类学的田野考察方法,
学位
本文是关于中外美术交流过程中形成的“凹凸造型”理论研究,并试以勾勒出“凹凸造型体系”的清晰脉络。在中国绘画历史上,异域绘画首次传入中国并对中国绘画产生重要影响的是在晋唐时期,随着佛教传入的西域“凹凸法”,这次异域画风传入是以立体风格为主要特征,论文重点以此为核心展开的对“凹凸造型体系”的论述。论文在整体结构上分为四个部分。  第一部分围绕敦煌莫高窟壁画“凹凸法”的早期流变展开,重点爬梳了中西方绘画
二胡作为中国传统的民族乐器之一,有着一千多年的悠久历史。作为所有拉弦乐器中最接近人声的乐器,在情感表达上就更加的直接明了更能引起人们的共鸣,而且深入人心。  经过多年在二胡专业上的系统学习,我越来越觉得针对于二胡的某些重要技术技巧进行研究是非常重要的,这对于自身演奏水平的提高十分有帮助。基于这一点,本文将分为三大部分进行简单论述:第一大部分对于二胡运弓的气息、力度方面分别进行一下论述;第二部分重点
学位
苏轼是北宋全能生产的文学巨匠,但他的美学思想也独树一帜。他以论画、题、赞、跋、书、诗、散文、记等方式,对绘画艺术的创作与审美发表了许多真知灼见,他是文人画理论的奠基者,对中国绘画艺术的深远影响,可谓千古一人。本文拟从苏轼绘画渊源;选取苏轼论画经典;对中国绘画艺术的影响与启迪;苏轼绘画实践几个层面的思考与研析。力图展现苏轼绘画艺术观的全貌,理论与实践的结合与统一。
莫扎特作为欧洲音乐史上最伟大的作曲家之一。他在音乐的许多领域做出重要贡献,歌剧就是其中之一。《费加罗的婚礼》是莫扎特喜歌剧的代表作,该剧中的女高音咏叹调一直活跃在歌剧舞台。莫扎特用不同的咏叹调来多角度刻画人物性格,使人物形象活灵活现,本文主要以该歌剧中苏珊娜和伯爵夫人的咏叹调来诠释其音乐艺术特征,使演唱者对莫扎特式的女高音咏叹调有进一步的认识。全文从四个部分展开说明:  第一部分:以概括的角度从声
人们常说“眼睛是传神的工具”,眼神是最重要的神,因此舞者都是十分讲究眼神技巧的运用。他们根据舞蹈故事情节变化,将脸上的神韵始终贯穿其中。眼神的表现力很重要,若眼睛没有任何内容,表情也一定是僵硬、呆板的。即使舞蹈动作很优美,也是苍白如纸,平庸不堪,根本塑造不出具有丰富个性特征的舞蹈形象。  在中国舞中,“神韵”是一个非常重要的概念。我们只有把握住了“神”,“形”才能有生命力,  眼神是舞蹈表演中的“
学位
一、乡村振兴战略(一)乡村振兴战略概述1.战略颁布背景近几十年来,国家和社会的发展进入新阶段,我国社会经济建设也迎来了新的挑战,乡村与城市之间生产的资源配置、基础设施建设与区域发展政策的差距已逐渐凸显出城乡二元发展的潜在问题,阻碍着我国社会经济的协调发展。(1)对此,国家实施乡村振兴战略,就是要着力解决好城乡发展不平衡的问题,实现城乡发展问题的妥善政策安排。(2)…
随着改革开放的深入,国民经济取得了飞速发展,各行各业中,建筑及房地产企业表现得尤为突出,为推动我国的经济发展做出了不可磨灭的贡献。近年来,随着市场竞争的加剧,房地产企业的经营状况受到了极大影响,而且房地产项目各项成本也不断增长,因此企业的利润空间被压缩。同时,由于国内国际形式的变化,也加剧了企业的生存压力。鉴于以上种种情况,成本管理无疑将成为房地产企业实现可持续增长
分类号:C93单位代码:10422密级:公开学号:201841134SHANDONGUNIVERSITY硕士学位论文ThesisforMasterDegree(专业学位)/论文题目:地方政府领导注意力分配的影响因素:基于H县农村信用体系建设的案例分析Influencingfactorsofattentionalloc
学位
数学教学的理论和实践表明,数学教学是一个复杂的过程,学生往往难以同时达成教学目标,对一定时期内数学学习困难的学生进行补救也就成了教学中必要的一个环节.与此同时,认知诊断理论的发展,使得人们可以通过对测验结果的分析,了解学生的认知过程和认知结构,为补救教学提供有效参考.因此,本研究从认知诊断理论出发,开展数学补救教学的研究.本研究先采用文献分析法,通过对认知诊断和补救