可扩展I/O的研究和参考实现

来源 :中国科学院研究生院(计算技术研究所) | 被引量 : 1次 | 上传用户:haierv70
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在文件系统和I/O领域,提高性能和I/O的可扩展性是人们的研究目标。在磁盘存储系统、网络文件系统、并行文件系统和并行I/O界面上已经有了很多研究成果,但在可扩展并行系统的I/O上,既缺乏统一的标准,又缺乏对影响因素的深入了解。可扩展I/O(SIO)研究集中在硬件系统、操作系统支持、语言编译器和Runtime系统的支持、应用的I/O特征分析,和需要大量I/O的并行应用设计五个方面。本文着重于一种可扩展I/O标准界面的设计、一个可扩展文件系统的设计,以及在大规模并行处理系统和机群体系结构系统上参考实现和原型系统的实现与评价。 本文提出一种新型的I/O编程界面,称作“可扩展I/O底层应用编程界面”(SIO-LLAPI),这种简单的以性能为目标的底面界面是用以支持文件系统开发者有效地开发高层的并行I/O界面和为并行I/O的研究者提供基础平台。这项API设计工作是美国NSF组织的Scalable I/O Initiative项目的一部分。 本文描述了在Intel Paragon多机系统上SIO-LLAPI的一种参考实现(Reference Implementation)。在这个SIO底层界面的实现中,我们提供了与Intel并行文件系统(PFS)兼容的文件系统结构和文件条块化(stripe)算法,并且实现了核心内和用户空间库两个版本。这个参考实现支持SIO底层界面的所有核心特色和部分可选特色,包括scatter-gather方式读写操作、异步I/O、文件控制操作、客户端文件缓存和预取机制、文件存取的Hints机制、Collective I/O、和一种高效的文件拷贝。我们初步的性能评价表明,SIO-LLAPI提供了大幅度提高I/O性能的可能性,并且易于实现,它的API灵活性对并行I/O的研究很有帮助。这个参考实现有助于其他实现者对SIO-LLAPI标准的理解和实现经验的获得。 为了更好地理解性能上隐含的因素,我们在SIO-LLAPI之上实现了Intel PFS文件系统的界面。我们的实验结果表明,在大多数情况下,这种实现方式下PFS的性能与原始的(native)PFS性能相当,在某些情况下,如较小的顺序文件存取、较大的I/O请求、和Collective I/O,SIO-LLAPI上的PFS实现比原始的PFS性能更稳定和更好。同时,我们还实现了其它的高层文件系统界面和应用程序,如在SIO-LLAPI上实现了ADIO界面,在我们的PFS界面上运行Hartree-Fock应用,都获得了性能的提高。
其他文献
【正】 本文试把中国数学、西方数学、国际数学几个概念研究一下,然后据以检测一下废除珠算的6条理由是不是“理所当然”。言有未当,务乞斧正。 一、兴衰存亡话选择 灰色选择
随着人类知识生产的日新月异,高新科技产业化的进程加快,现代科技在各个产业的渗透以及在全球范围的迅速扩散,人类正走向信息网络化、资源共享化、知识经济化、科技创新化……这
带“7”平方.不论7在前位,在后位,在中位,还是多位7,均有巧算法,不同常规,简单、快速、准确,是经验总结,归结如下。
1998年12月6日,从美国宇航局传来消息,美国奋进号航天飞机释放的"团结号"节点舱同曙光号已经顺利对接,这标志着离实现登陆火星的设想愈来愈近了。美国人计划在21世纪20年代实
目的:通过调查乳腺癌术后患者对功能锻炼方式的选择,分析其影响因素,为制订个性化高质量的康复模式提供参考依据。方法:采用自制的调查问卷,随机抽取广州某三甲医院乳腺外科
脑电研究对探索脑神经活动规律、研究脑的认知功能具有重要的科学意义和临床应用价值。在脑电研究中,有限元素法因可以处理复杂几何形状和边界条件,且能成功地用于多种均质连
物理下册第十五章内容,教材综合性强,以学生的探究活动为线索,融合了欧姆定律、能量、功的知识,是学习电功率的重要基础,在电学中起着承上启下的作用。教材重点是:学生自主探究影响
过去几十年来软件生产率一直在稳步增长,但是仍然不能弥补用户对软件的需求和当前软件生产能力之间的鸿沟。经过大量的软件工程和人工智能领域的研究工作以后,人们发现为了满足
面对信息技术发展的新形势,航空企业面临档案管理的信息化建设。本文首先分析了档案管理面临的信息化新形势,指出了航空企业档案管理的主要内容,进而提出了以信息资源为核心的档
目的:比较观察护理干预缓解产妇椎管内麻醉术后头痛的疗效。方法:选择60例择期行剖宫产的孕妇,麻醉后出现头痛症状,将其随机分为对照组和观察组,对照组按照常规护理,观察组在常