I/O特性感知的并行存储系统关键技术研究

来源 :国防科学技术大学 | 被引量 : 1次 | 上传用户:kugsa74
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着超级计算机规模的快速发展,高性能计算和模拟已经成为解决人类面临的若干重大技术挑战的重要手段。超级计算机由计算、通信和存储三大分系统组成,由于存储系统是基于机电磁合为一体的磁盘构成,控制过程复杂,存取数据的延迟大、速度不快,使得存储系统与计算系统之间的性能差距越来越大,存储系统已经成为影响超级计算机性能快速提升的瓶颈。因此,亟待研究存储系统的I/O性能优化技术。
  在超级计算机存储系统关键实现技术中,基于应用程序I/O特性,优化I/O缓存和预取,以及I/O调度等技术依然是重要的研究内容,它们面临着难以获取复杂的I/O特性、I/O缓存效率差、多个并发应用的I/O干扰等难题。针对上述问题,本文主要研究I/O特性获取、基于I/O特性感知的分布式Cache和I/O调度技术。本文的主要研究工作和创新点如下:
  (1)提出了应用程序I/O特性的获取、存储和检索方法
  目前,获取高性能计算应用程序I/O特性的主要方法是使用某些工具来分析操作系统I/O统计量和应用程序的I/O迹线(trace)。现有分析工具存在使用范围受限、分析能力不足和使用灵活性较差的问题。本文提出了基于FUSE文件系统(Filesystem in User Space)的应用程序I/O特性获取框架FTracer。FTracer本质上是一个文件系统,因此能够获取各类应用的I/O特性。FTracer可提供进程级、文件级和应用级的I/O分析功能,能够获取各个视角下的I/O特性。另外,FTracer能够在运行时实时配置分析例程、分析视角等,灵活性较高。本文使用FTracer分析了典型I/O密集型应用的I/O特性,其中,首次分析了典型的数据密集型应用Gather和WRF程序的I/O行为。应用I/O特性主要用于为I/O性能优化技术提供决策支持。Cache和预取等I/O优化技术需要快速的获取需要的I/O特性数据,以保证及时决策和低开销。另外,不同层面的I/O特性数据的表示方法多样。如何有效存储和及时检索I/O特性数据意义重大。本文提出基于Key-Value存储的I/O特性数据库,既能够表示多种类型的I/O特性,又能保证低访问延时。
  (2)提出了基于I/O特性感知的分布式Cache结构
  分布式Cache技术通过将多个节点上的空闲内存组织起来,向应用程序提供一个大容量、高带宽的Cache存储空间。文件的数据块通常被缓存在最近访问该数据块节点的Cache中。当一个文件被多个节点共享访问时,该文件的数据块会被分散到各个节点的Cache中。每个节点上的Cache基于确定的算法(如LRU)和本Cache中数据存储的历史信息对缓存在Cache中的文件数据进行替换操作,它不考虑文件全局被访问的信息,这就导致Cache命中率大大降低。此外,为了维护数据一致性,同一个数据块会在多个节点的Cache间频繁抖动,大幅降低了Cache的性能。
  本文提出了I/O特性可感知的分布式Cache结构SFDC,它以文件为单位进行数据分布,将一个文件的所有数据缓存在同一个节点上。各个节点的Cache根据文件的全局I/O特性,计算文件数据的价值,并且基于数据价值进行缓存和预取,尽早地将无价值数据转存到底层并行文件系统,同时预取高价值的数据。SFDC基于范围进行写操作合并,将地址不连续的小I/O整合成大I/O,以适应底层并行文件系统。此外,SFDC还提供了可指定I/O特性的编程接口,向用户提供不透明的使用方式。
  (3)提出了基于I/O特性感知的I/O调度方法
  超级计算机上并发运行的多个应用程序独占式的使用计算节点,但是共享的使用存储系统。因此,在存储系统中,一个存储服务器要同时服务多个应用程序的I/O请求。并且,一个应用程序的I/O操作通常同时覆盖多个存储服务器,而I/O操作的同步要求使得其完成时间取决于被最晚服务的I/O请求。由于存储服务器的I/O调度算法不区分应用,导致一个应用程序的I/O请求在不同服务器上的完成顺序不同。因此,各个应用程序的I/O时间会因为在存储服务器上的相互竞争而增长。这种应用之间的I/O干扰(I/O interference)还会破坏单个应用的空间局部性,进一步降低I/O系统的整体性能。
  本文提出了基于I/O特性可感知的I/O调度框架DWFC,该框架综合考虑多个应用程序总体的I/O性能,降低在存储服务器上的I/O干扰带来的性能下降。DWFC通过探测存储服务器的实时负载来识别I/O干扰。在I/O干扰发生时,DWFC基于请求的时间紧迫性进行I/O调度,优先选择紧迫性高的I/O请求,以保证应用程序的I/O性能。在发送I/O请求时,DWFC根据存储服务器的I/O负载来确定I/O的请求的数据量。实验结果表明,当两个应用并发运行时,DWFC能够在不降低任何应用程序I/O性能的前提下,提高两个应用的整体I/O性能。
其他文献
本文以产业转移升级创新收益机理分析为切入点,基于能力结构与区域经济合作利益分配模型,对京津冀各城市产业协同创新收益分配态势进行测度,研究认为城市群各城市通过产业转移升级能够获取创新收益,各城市产业协同创新能力耦合度大小对创新收益分配有重要影响;京津冀城市群内各城市创新能力差异较大、创新能力耦合网络有一定优化空间,政府的产业转移升级政策对促进各城市创新收益分配趋向均衡
在数字通信中,电子侦察往往会通过对截获信号的盲解调来获取信息。盲解调作为非协作信号处理的一个关键技术,其方法涵盖参数估计方法、调制识别方法、符号同步与载波同步方法以及盲均衡方法。本文研究了MPSK、MAPSK信号的通用盲解调方法,在深入研究盲解调算法原理基础上,完成算法的性能仿真。全文的主要工作包括:首先,载波频率和符号速率在解调中是需要已知的,对于非协作侦察来说,
多传感器图像融合已经成为近年来图像工程的研究热点之一,在军事、医学影像、遥感图像和计算机视觉等领域得到了广泛应用。所谓的多传感器图像融合是指,采用一定融合规则,使不同传感器图像中的特有信息在融合图像中都有所反映,融合图像具有比单一传感器图像更丰富的信息量。本文主要是在小波变换基础上,对多传感器图像融合算法进行研究,主要工作如下:1. 阐述了多传感器图像融合的背景、层次结构和一般方法,对多分辨率金字
学位
传统鲁作家具是中国明式家具的一个重要分支,是带有明显山东地域文化特征的优秀民间艺术,它的发展离不开齐鲁文化的滋养,应时而生,载道于器。本文从齐鲁文化入手,创新性地阐述了齐鲁文化儒、雅、仁、礼、中、庸、天、道、和、谐等思想对传统鲁作家具的意境、功用、构型、材饰、设计等方面的影响。力图发掘鲁作家具的魅力,为当代鲁作家具的发展提供借鉴。
近期,笔者对纳入全国碳排放权交易市场的6家武汉电力企业开展调研。调研发现,碳配额抵质押贷款是盘活企业碳配额资产的重要方式,但提供金融服务时需注意多方面问题。同时,对金融机构支持碳市场建设提出政策建议。
各种应用需求促使了大量的异构平台的涌现。典型的异构平台加速器包括数字信号处理器(DSP)、面向通用计算的图像处理器(GPU)、众核协处理器(MIC)以及硬件加速器(FPGA)等。  针对异构平台的编程优化面临诸多挑战。由于各种异构平台体系结构的差异,所采用的编程方法以及并行优化方法都将不同。针对GPU这种含有大量并行计算单元并以SIMT方式执行的异构平台,编程实现中,需要特别注意避免条件分支语句的
学位
随着物联网各项技术的不断发展,基础设施不断完善,创新的数据采集与信息交互方式提供了测量,预测、理解和改变环境的新手段,推动着物联网系统在个人健康、公共事务、智能家居等领域得到广泛应用,成为了人类连接未来生活的桥梁。随着人们对应用需求的不断增长变化,互联网上将接入海量不同类型的智能传感设备为用户提供各类服务。通过统一的平台实现海量设备的在线实时管理、按需整合各类设备服务形成创新的物联网应用成为未来物
学位
本论文研究加密散列函数在面对强力测试时的安全性问题。实践证明加密散列函数在保护信息真实性、完整性方面发挥着重要作用。加密散列函数的应用包括完整性验证、消息认证和数字签名。全文首先对加密散列函数的理论研究结果进行了概述,描述了传统散列值安全性分析算法,并研究了传统散列值安全性测试算法存在的不足。暴力搜索算法在面对较大的密钥空间时,效率较低,而字典和查询表算法又存在占用空间较高和无法直接应用于通用硬件
本文以复杂网络特性以及链路预测算法为主要研究内容,研究的主要目标是提升复杂网络中链路预测算法的准确度,并且期望将复杂网络的结构特性应用到链路预测中去从而提升算法的预测效果。  首先,通过实验去模拟复杂网络中WS小世界模型及BA无标度模型的建立过程,由实验结果去分析各模型中聚类系数与重连概率或网络规模之间的关系。并且发现WS小世界模型中聚类系数的计算公式依赖于网络规模这样一个前提。  其次,本文对现
学位
计算机视觉中的很多研究对象都可以分解为结构学意义上的多个部件的组合,比如人体可以分解为头、躯干和四肢,而人脸可以分解为眼睛、鼻子、嘴巴和下巴等。检测对象所包含的部件是计算机视觉中一项重要而基础的任务,基于部件检测,我们可以:1)规整化对象姿态;2)提取兴趣区域;3)计算局部特征;4)推理语义信息等。除了结构学意义上的部件,我们还可以定义带有某些特殊属性的部件,并通过检测图片中是否包含这类部件来判定
学位