论文部分内容阅读
随着信息技术的广泛应用，各种数据信息呈爆炸性的增长趋势。如何将数据信息进行有效地存储和管理已经变得越来越重要。同时它也对计算机存储系统在存储容量和存储访问速度等方面提出了越来越高的性能要求。传统的存储系统很难适应这种新的技术需求，而分布式存储系统技术则能比较好地解决这个问题，所以目前基于集群的分布式存储系统在计算机存储技术领域内已经成为主流存储平台。分布式文件系统是分布式存储系统中的关键技术，所以研究和设计能够进行高效存储的分布式文件系统具有重要的现实意义。本文对分布式文件系统中的数据布局算法、数据分片算法和存储节点设计进行了较深入的研究，论文作者所做主要研究工作和取得研究成果如下：1、在认真分析和研究了现有分布式文件系统结构的基础上，提出了一种SDFS（SimpleDistributedFileSystem）分布式文件系统的原型结构。2、研究了现有分布式文件系统的数据布局算法、数据分片算法和存储节点的布局方法，给出了SDFS分布式文件系统中的数据布局方法和数据分片算法，提出了SDFS分布式文件系统中元数据服务器的设计方法。3、针对现有的分布式文件系统通常很难做到同时高效存储大小文件的问题，本文提出了一种新的二元存储节点布局方法。该布局方法的主要思想是在SDFS分布式文件系统中将存储节点划分为基于桶文件和key-value的两种类型。基于桶文件的存储节点存储大文件可以提供较高的文件访问吞吐量，而基于key-value的存储节点结构则能够比较好地处理小文件的存储访问，提供较低访问时延。本文对SDFS分布式文件系统进行了功能测试。并与PVFS1.6以及PVFS2.8并行文件系统进行了相关性能对比。实验证明SDFS分布式文件系统达到了设计要求，在大小文件的读写方面有较好的性能优势。