近年来机群系统凭借良好的可扩展性、可用性以及极高的性价比成为高性能计算机和超级服务器的主流结构.然而,磁盘性能的改善远远落后于CPU处理速度、内存性能、互连网络带宽的提高,使得I/O系统成为严重制约机群系统性能提高的瓶颈.机群文件系统作为缓解机群系统I/O瓶颈的重要手段,具有重要的研究意义. 为了提供可扩展的文件服务,大规模机群文件系统的发展趋势是数据通路与元数据通路相分离、基于对象存储的网络存储系统和多元数据服务器的体系结构. 针对这种结构的大规模机群文件系统,本文重点研究了其中的几个关键问题,包括I/O性能的关键优化技术、多负载的高效支持以及数据的高可用.本文的主要贡献在于:1)设计和实现了基于对象存储的大规模机群文件系统LionFS,重点研究了在这种新的存储体系结构下,I/O性能的关键优化技术,包括:异步化、直接递送的数据传输机制以及基于前端负载访问信息的预取技术,测试表明,由于直接递送的方式减少了传输过程中客户端和对象设备的内存拷贝,使得读写性能都有比较大的提高,分别为:读24﹪,写28﹪,而且采用预读技术后系统的数据通路达到并发流水,使读带宽增长了70﹪;2)提出了一种类会话的I/O访问机制以及面向文件访问请求的全局调度机制.本地环境通过连续的文件布局并配合CFQ磁盘调度策略能够很好地改善多个并发顺序流的聚合性能.然而,机群文件系统基于网络传输的数据访问方式使得存储服务器的驱动方式与负载构成不同于本地环境,限制了上述策略的优化效果.为此,我们设计了类会话的I/O访问机制以充分发挥本地系统ext3数据块预留机制的优化效果,并在此基础上提出了面向文件访问请求的全局调度机制以缓解多负载并发访问磁盘时的相互干扰.性能测试表明:综合使用上述策略能够明显改善机群环境下多个并发顺序流的聚合性能.3)提出了一种基于复制技术的数据高可用机制,针对复本一致性、故障记录和数据恢复、在线恢复等问题,该机制扩展了标准的文件锁协议来保持单复本的Unix文件共享语义;利用轻量级的故障记录机制来降低日志操作的性能开销并通过重放更新的修复策略在故障排除后进行高效的数据修复;最后借助文件冻结技术实现在线修复,满足数据高可用的需求,性能数据表明:该机制在故障发生后仍然能够保持系统具有较好的性能,而且在故障排除后能够快速完成数据的恢复.