论文部分内容阅读
随着Internet技术的飞速发展,基于Internet的应用从对计算资源要求少的传统的文字和图片式Web应用向要求更多计算资源的音视频应用转变。同时,因为网络传输性能和个人计算机处理能力的显著提高,基于原来被忽视的PC构建大规模、低成本、高可用、高可扩展及高性能的P2P分布式存储系统,成为当今的一个研究热点。多个针对Internet流量的统计数据表明,基于P2P的文件共享应用得到了广泛应用,并开始占据大部分的Internet流量。在对P2P分布式存储系统的相关技术进行了深入系统研究的基础上,针对P2P模式存储系统在访问性能和维护管理方面存在的不足,为提高P2P存储系统中数据的可靠性、可用性和访问性能,提出了一种基于P2P的非中心,自组织的大规模存储机制,并且设计了一个新的层次动态哈希表(Distributed Hash Table, DHT)路由协议。为了改善系统下载大文件的性能,提出了一种基于层次DHT协议的动态并行下载机制。不同于传统集群存储系统的节点,构成P2P存储系统的节点具有大规模、高动态性、高异构性、强异步性等新特点,这严重损害了整个系统的效率和可扩展性。针对这一问题,提出了一种层次P2P的分布式存储系统HIPSS (Hierarchical P2P Storage System, HIPSS)。HIPSS使用层次DHT层叠网将大量分散在Internet上的节点组织成一个统一的逻辑网络,并使用节点提供的磁盘空间构成一个非单一映像空间的虚拟存储池。HIPSS采用完全分布的数据和元数据管理存储方式、灵活的文件副本管理方法、高效的文件查询机制以及高速并行传输机制为用户构建可扩展、高效的海量存储系统。高效可靠的数据组织策略是P2P存储系统的核心。传统的DHT完全平等的对待系统中的节点,因此具有良好的负载平衡和可靠性,但随着系统规模增长,节点的异构性将严重影响整个系统的效率和扩展性。因此,提出一种基于Chord的层次路由协议以在动态的Internet环境下提高数据访问的效率,该协议利用了节点异构和物理邻近性,通过对物理邻近节点和相关数据的聚合来提高数据访问的本地化比率,降低网络访问延迟。相对于非结构化P2P网络,结构化P2P系统需要更大的维护开销用于构建、更新路由表,因此增加了网络负载,影响了查询效率。为了减少DHT网络在动态大规模网络环境下的维护开销,基于层次DHT网络提出一种新的拓扑维护机制。该算法采用管理节点作为拓扑更新信息的管理者,存储节点周期性的探测其后继节点,当后继节点状态发生改变则把消息发送给管理节点。管理节点记录所属存储节点的状态改变并周期性的发送给存储节点以帮助存储节点更新路由表,存储节点不必像传统DHT一样查询其后继节点,从而显著减少底层网络的更新开销,提高拓扑网络的扩展性。P2P并行下载工具(如BT)是目前非常流行的可扩展文件发布工具,能够快速高效的发布大型文件。然而,这些基于传输跟踪服务器的系统依赖显式的静态IP地址。针对这一问题,提出了一种基于层次P2P的动态映射并行下载机制。该方法耦合传输跟踪服务器的ID编号与其驻留的管理节点ID地址,并引入分布式ID映射服务,保证在动态Internet环境中正确的发现传输管理服务器。同时,还利用节点聚集以及传输本地化来优化传输管理、提高下载性能。