HPP体系结构下分布式文件服务研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:lengzhichao12321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高性能计算的不断发展演变,千万亿次高性能计算机已经成为当前的研究热点。超并行(HPP)体系结构作为面向高性能计算的新型体系结构,结合了MPP的可扩展性,DSM的高效通信和机群的普及化的优点,有效地支持了高性能计算。作为HPP系统一个组成部分,分布式文件服务是HPP体系结构研究中的一个重要问题。本文针对HPP体系结构的特性,设计并实现了一个HPP节点的分布式文件系统,并在HPP原型系统中进行了验证。论文对原型系统上分布式文件服务的系统结构、缓存分布及存取模式、预取算法、服务迁移等关键问题进行了深入的探讨和分析。主要研究内容包括:   (1)设计并实现了一个HPP节点上的分布式文件系统——StarFS。基于HPP体系结构的紧耦合环境,根据超节点内部对于计算单元与管理单元结合更加紧密的特点,设计了一种星形结构的双层分布式文件系统架构。该结构将文件服务分为两层结构,并在两层上分别设立高速文件缓存,有效地利用HPP体系结构的特性,提高了系统性能。   (2)提出了一种基于HPP节点的分布式文件服务缓存管理机制——同步更新的双层缓存管理机制。该机制利用本地缓存和高速内部网络,有效提高了系统性能,同时在缓存间实现了强的文件一致性,满足了节点操作系统单一系统映像对文件同步语义的严格要求。最后通过对多种缓存模型的分析,验证了在高速内部网络下该管理机制的可行性。   (3)提出了一种基于HPP双层架构的文件预读策略,并对其数据读取操作进行优化。StarFS利用HPP节点内双层架构,设计了双层缓存预读机制,并为所有进程文件在主核心保存预读信息,有效隔离了多客户访问对预读干扰,实现了细粒度的双层文件预读算法。本文采用数据读取请求的聚合优化技术,大大提升了数据读取性能,通过测试,该技术能够使数据读取带宽提高50%以上。   (4)提出了一种基于HPP节点的全局文件信息迁移机制。HPP节点操作系统支持进程在不同核心间的迁移。全局文件信息迁移机制为每个文件分配全局唯一的GFID,并设置相应的文件信息管理机制,有效解决了进程文件信息在不同节点间的迁移的问题。
其他文献
Internet的迅速普及使得网络新闻成为民众掌握时事与获取各类最新信息的重要途径,但是在海量信息中找到自己关注的新闻及新闻话题也绝非易事。为了让人们能够快速地从新闻中获
学位
当今社会中,随着信息技术的发展,数字电视、计算机和通信三大传统产业的互相渗透和融合,使得视频信息的传递日益成为人们通信的重要内容之一。但是由于视频信息本身就非常庞大的
软件在航空航天应用中所占的比重越来越大,软件质量对于航空航天系统的可靠性也变得越来越重要。为了引进更先进的计算机技术,缩短研制周期,降低研制成本,航空航天领域中的嵌
学位
语义桌面是语义Web研究的重要分支,它将语义Web技术应用到桌面管理系统,用知识本体对桌面资源进行描述,改变现有的以文件夹组织文件的管理方式,提供精确查询,用户无需关心文件的存
学位
Ad Hoc网络由于其具有不需要基础设施、多跳、分布式控制、节点低能耗和移动性等特点,使得基于有线网络的协议和规范并不适合于Ad Hoc网络,因此必须重新设计新的协议来满足Ad H
近年来,随着视频压缩技术,硬件存储设备和网络传输技术的快速发展,视频、音频、图像等多媒体数据作为一种动态、直观和形象的数字媒体,承载了大量丰富的语义信息,广泛应用于各类信
学位
网络发展到今天,没有一个概念能像Web服务这么快地流行起来,并引起广泛的关注,可以说Web服务是一场软件的革命。Web服务的诞生不是偶然的,是Internet以及相关技术发展到一定程度
传统互联网的组成形式是由文档(网页)及其文档之间的关联(超链接)组成,这种组织形式并不能被机器所理解。知识图谱作为一种用实体及其语义关系来表达知识的语义网络,通过将实体及其
计算机网络的发展激发了人们对计算能力拓展的追求,分布式计算是这一努力的一个重要方向。从超级计算到集群,网格计算,Web2.0以及云计算都是这一探索不同侧面的反映。网格计算的
学位
经过近三十年的发展,地理信息技术逐步步入计算机主流技术。而Web GIS因其无需安装客户端不仅为广大用户带来了更加便利的地理信息服务,同时也推动地理信息技术的进一步发展。W