高性能计算机的内存和I/O特性分析及性能优化

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:lw3202004012
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机异构系统结构和高性能CPU等技术的飞速发展,以“天河二号”为代表的超级计算机的峰值计算性能已经达到54.9PFlops,正在向EFlops规模发展。CPU、内存、互连网络和外部设备是构成超级计算机的主要部件,前三者是光电类型器件,而作为主要外部设备之一的存储设备是机、电、磁一体的设备,它们之间的发展速度有很大差距。通常访存和通信带宽约为每秒几GB,延迟约为几纳秒,但是以磁盘为主体的存储设备的带宽约为每秒几十到几百MB,访问延迟为几毫秒。计算、仿存和通信性能与I/O性能的严重不均衡,极大的影响了应用程序的执行性能。为此,需要对高性能计算应用程序使用的计算、内存和I/O资源进行分析,以便了解应用程序的运行特性以及系统在访存和I/O方面存在的性能问题,研究解决问题的方法。本文围绕对高性能计算应用程序的特性分析主要展开了以下研究工作:(1)分析了当前超级计算机的组成结构与发展现状,研究了超级计算机的存储系统以及高性能计算应用程序对内存和I/O的需求。(2)分析了TH-1A上高性能计算应用程序对内存的使用情况,发现其中存在着内存使用不充分而带来的内存浪费问题。研究了优化内存结构的技术方法。(3)提出了一种基于NBD机制使用远程结点内存构建Page Swap区的内存优化技术。该技术利用了超级计算机中通过网络访问远地内存性能优于访问本地磁盘性能的特点,采用了远程内存交换盘技术,使得本地结点在内存紧张时可将页面交换到远地结点的物理内存上,可以有效提高TH-1A上的内存使用率。(4)研究对高性能计算应用程序进行I/O特性分析的技术方法,设计一个能在TH-1A上高效运行的I/O Trace收集和分析工具。(5)利用该工具首先对benchmark程序MADbench2和b_eff_io的I/O行为进行监测,然后对TH-1A上典型的数据密集型应用石油地震勘探中的抽道集程序进行I/O特性分析,了解了这些程序的I/O特点,可以帮助我们有针对性的优化应用程序,缓解系统的I/O瓶颈问题。
其他文献
由于在最优化、信号处理、图像处理、代数方程求解、模式识别和联想记忆等方面的广泛应用,人工神经网络得到了蓬勃发展。神经网络的信息处理能力取决于其动力学行为。因此,神
随着Web应用的日益广泛和Web开发技术的不断发展,开发者迫切需要一种能够简化开发过程,降低开发难度,提高开发效率的框架。目前在Web开发平台中人们使用最多的是J2EE。但随着
在生物领域研究中,在巨量生物数据库中进行生物序列相似性查询是一项经常性的工作,在探索生物学知识和生命活动规律的过程中扮演着重要角色。然而在大型的长序列数据库中用朴
随着我国城市经济建设和社会的快速发展,电力、石油、铁路、邮政、交通等行业对巡检管理工作的要求越来越规范化、科学化、数据化。在安全防范系统方面尤其重要,因此采用先进的
彩铃业务是个性化多彩回铃音业务(CRBT,Coloring Ring Back Tone)的简称,是一项由被叫用户定制,为主叫用户提供一段悦耳的音乐或一句问候语来替代普通回铃音的业务。该业务有
IEEE 802.11无线局域网络的使用越来越广泛,其物理层数据传输速率随着技术的发展不断提高,而信道利用率却没有成比例增长。主要原因是传统的接入控制机制(MAC)引入了太多控制
支持向量机(SVM)是在统计学习理论基础上发展起来的一种新的模式识别方法,它是统计学习理论中的结构风险最小化思想在实际中的一种体现。SVM的基本思想是通过非线性变换将输
近年来,随着人类基因组计划的实施以及功能基因组和蛋白质组研究的开展,生物信息学成为生物学和信息科学的研究热点。生物医学文献的数量迅速地增长,没有人能够阅读完如此众多的
说话人识别技术是指通过说话人的语音自动鉴别说话人身份的技术,它是生物认证技术之一。与其他生物认证技术相比,具有数据采集简单,能实时识别,远程识别等优势,能够广泛应用
随着具有计算和组网能力设备的出现以及这些设备的小型化和嵌入化,传统的以计算机为中心的计算模式因无法克服一人多机所带来的困扰而受到严重挑战。Mark Weiser提出了以“透