高性能计算中并行文件系统可扩展元数据服务的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:ljdoctor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算能力的增强、应用课题规模和复杂度的增加,高性能计算机对并行文件系统性能要求越来越高,在海量小文件频繁创删和大规模并发I/O操作的应用场景中,文件系统元数据吞吐率成为限制其性能的关键因素。针对I/O转发架构,提出了一种基于元数据代理的高可扩展元数据服务的方案,结合作业调度系统,将文件系统元数据请求分散到多个元数据代理上,加速作业的文件系统元数据访问。并行I/O是高性能计算系统中主要的I/O使用方式,可分为单数据流模式和共享文件模式。其中单数据流模式给元数据服务带来很大负载,元数据可扩展性方案面向该I/O模式提出的,主要包括元数据代理MDDS(MetaData Delegation Service)和基于MDDS的作业调度两部分。元数据代理基于Lustre元数据集群架构CMD(ClusterMetaData)实现的,通过降低多个元数据服务间的耦合度,保证元数据集群的高可用性;使用目录子树方式管理元数据代理空间,避免跨节点目录引入的分布式原子操作的复杂性和低效性;实现元数据迁移避免跨元数据服务器间文件迁移造成的数据对象移动;通过元数据代理动态增删机制实现元数据代理的灵活部署。针对高性能计算中I/O转发架构作业调度特点,提出基于元数据代理的两种作业调度策略——单作业独占单元数据代理调度和多作业共享多元数据代理调度。前者实现了对传统作业I/O访问模式的支持,避免了多作业间元数据竞争;后者将单个作业的元数据访问分散到多个元数据代理上,实现了作业内的元数据负载均衡。在116台存储服务器上对元数据代理进了测试,同时通过模拟I/O转发架构中作业的文件系统元数据访问负载对两种作业调度方法进行评估。结果表明,元数据代理提供了拟线性的元数据性能,在大规模的环境中较CMD方案有较好的扩展性;两种调度方式有效分散了作业元数据的负载,改善了高性能计算中的元数据瓶颈问题。
其他文献
当前,在以互联网为代表的信息技术广泛普及的基础上,移动互联网、云计算等新兴信息技术快速发展,人们通过微博、社交网络等各种信息媒介相互交流。方便了人们生活工作学习的
该研究论文的主要目标是专注于光突发交换(OBS)网络的性能评估。我们提出了一个仿真基于OPNETModeler的开发性能进行评估OBS网络中存在的自相似流量来源。强加在网络上的自相
随着实际应用需求的不断增加以及Web应用程序技术的发展,Web应用程序的开发和使用日益广泛。Web应用测试是保证Web应用质量的重要手段。Web应用具有内容动态性、运行复杂性和
随着多媒体与互联网技术的高速发展,以图像和视频为代表的多媒体信息呈爆炸性增长。图像特征多种多样,并且大多数特征向量可以达到上百维,甚至上千维,因此实现高维特征向量的存储
在分布式文件系统的长时间运行过程中,旧节点的故障淘汰和新节点的动态添加不断发生,同时存储数据也在动态创建和删除。新旧节点在性能上存在一定差距,同时数据的分布和访问也存
随着互联网的发展和智能手机的普及,基于位置的服务也迅猛地发展了起来,其中,地图搜索的功能也开始日趋强大和多样化。如何改善地图搜索的功能,提供给用户更加智能更加人性化的结
近年来随着数字电视的推广和互联网视频内容的发展,视频内容呈现爆炸式增长,而应用视频摘要技术则可以缩减视频浏览的数据量,提高检索效率,节省浏览时间,对基于视频的诸多应用具有
在多核共享缓存结构下,当多个应用程序并行执行时会竞争缓存,并且污染其它应用程序在缓存中的数据,导致系统的整体性能下降。研究发现,对共享缓存进行划分,可以有效改善缓存竞争和
在人机交互、模式识别等领域,人脸与面部动作及表情相关问题的研究具有重要的理论价值和巨大的应用前景,一直受到人们的广泛重视。以往,不论是人脸识别还是表情识别,主要研究工作
大数据时代,带来了更多的磁盘读写操作。固态盘(Solid State Disk,SSD)读写性能强于传统硬盘驱动器(Hard Disk Drive,HDD),特别地,凭借其比HDD更加优异的随机读写特性,SSD能有效提升计