MDDS一种Lustre元数据性能优化方法

来源 :第18届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:hy85323
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  Lustre是个分布式的并行文件系统,被广泛的应用在高性能计算领域,它使用元数据服务器MDS管理文件元数据和维护系统全局一致性视图,使用多个对象数据服务器OSS提供可扩展的并行IO能力。随着高性能计算机规模的扩充,单MDS成为了Lustre文件系统的性能瓶颈。我们在Lustre中实现了元数据代理MDDS,并在此基础上针对高性能计算机存储的IO转发架构,提出了一种可扩展的、分布式元数据管理方案。该方案使用MDS维护文件系统全局一致性的视图,利用多个MDDS提供并行的元数据服务能力,利用元数据迁移实现元数据的灵活放置。初步实验表明,元数据代理MDDS较明显地提升了Lustre元数据性能,元数据迁移减少了MDS和MDDS间元数据移动的时间。
其他文献
  基于现有的授权管理模式无法适应大型网络应用环境下的跨级跨域授权鉴权需求,本文设计一种基于属性信息代码化的创新授权管理方案,以属性信息代码为途径,以用户、资源、访问
  HTML5标准是超文本标记语言的第五代主要标准。与它之前的版本HTML4.01和XHTML1.1一样,HTML5致力于采用更好的架构来呈现Web内容。这个新版本为Web提供了许多新的特性来
  驾驶行为研究对新型车辆研发和提高交通系统智能性、安全性具有重要意义,建模与仿真技术是驾驶行为研究的主要方法。为提高驾驶行为建模与仿真的可信度,根据认知科学的研究
  针对基于属性、角色的授权管理模型中尚未建立规范化、标准化的属性数据元素问题,本文制定属性元数据项与属性值的双重代码化标准,通过分类制定属性数据模板,实现为基于属性
  介绍和分析了基于GIS(地理信息系统)的信息可视化方法,包括比例符号图(Proportional symbol maps)、地区分布图(Choropleth maps)和统计图(Cartograms maps)。给出了比例
  基于忆阻器的存储和运算研究正受到越来越多的重视。采用忆阻器高效地实现异或逻辑操作可以提高基于忆阻器的逻辑运算的效率,从而为构建更复杂的阻态运算做准备。在已有的
  由于IP网络的带宽限制和较长的传输延迟,为了完成数据的请求,iSCSI initiator和iSCSI target在确认对方发出的状态或控制命令前将等待更多的时间.iSCSI协议中通信开销所
  云计算系统由于规模巨大、行为复杂、运行时组成部件失效频繁,其系统可靠性、可用性面临重大挑战。异常行为检测是提高云计算系统可靠性、可用性的重要辅助机制。日志数据
  针对图像跟踪对转台响应快、定位精度高的要求,设计了以ARM和RDC组成的位置伺服控制系统。系统使用旋转变压器反馈状态信息,通过CAN总线与上位机进行位置指令参数、状态参
  本文提出了一种面向地理信息系统的海量小文件存储系统设计与实现,扩展了分布式文件系统HDFS,能够高效地存储海量小文件。本存储系统具有4个特性:1)支持海量小文件数据的