随着计算机技术的不断进步和Internet的飞速发展,在各种应用需求的推动下,分布式存储技术取得了长足的进步。同时,日益增加的用户数量,越来越大的数据存储量要求,越来越广阔的数据分布范围,越来越高的数据可靠性要求,越来越丰富的数据来源,也给分布式存储技术带来了新的挑战。如何在高动态的网络环境中构建大规模、高性能、高可靠、可扩展的面向Internet的分布式海量存储系统,是分布式存储技术亟待解决的问题。 本文在对分布式存储领域的最新研究成果进行了系统、全面的学习和总结的基础上,针对面向Internet的大规模分布式存储技术,进行了深入细致地研究,取得了若干创新和成果。 本文的主要创新点包括: 1.设计了一个基于P2P的Internet海量存储系统——π-Store。π-Store采用高可扩展的P2P体系结构,将大量分散的节点组织成一个逻辑网络,构建面向Internet的大规模分布式存储系统。π-Store采用高效的P2P路由机制、优化的数据容错策略、动态自适应的副本管理以及并行传输机制为用户提供高效、可靠的分布式海量存储服务。 2.提出了一种新的分布式结构化P2P路由算法——π-Route。π-Route对Pastry的路由表维护算法做出了改进,提出了一种新的路由表维护算法“LD-PNS”,通过动态优化节点上保存的路由表表项内容,达到减小路由延迟、提高文件访问性能的目的。π-Route通过为文件副本引入“代理节点”,使得文件副本的存放位置不再受文件标识符的限制,可以在系统中自由迁移,与FSRM机制结合,可以大大减少系统网络开销,提高文件访问性能。 3.提出了一种新的分布式协作冗余复制机制—DCR~2。DCR~2结合了完全复制和XOR校验的方法,将分布在不同机器上的多个文件通过相互之间的校验文件联系起来,通过多个文件相互协作,提高了单个文件及一组文件的整体容错性能。 4.提出了一种基于访问频率的分布式自适应动态副本管理机制—