论文部分内容阅读
负载均衡技术是并行文件系统中常见且不可或缺的重要优化手段。在并行文件系统中实现副本技术,利用负载分析方法和调度算法,可以有效地将系统中各种负载均衡地分配到各存储节点上,以提高文件系统的可用性、稳定性和服务质量。在并行文件系统中,随着节点的增加、删除,文件的创建、删除和修改,以及访问次数的爆炸性增长,各个存储节点的负载以不可预知的方式动态变化,常常发生部分服务器资源损耗过度而另外一些服务器使用率低下的情况,即负载倾斜。同时,节点的突发故障极易导致系统无法正常运行。虽然使用副本机制有助于解决上述问题,但在不同场景下,还需要针对场景中的I/O行为特征,以副本为基础,围绕负载均衡技术进行研究,找出适用的策略和时机。本文针对一种典型的并行文件系统pNFS(Parallel Network File System),设计并实现了基于概率分布的动态负载均衡机制PDDB(Probability Distribution Dynamic Balance)。在并行网络文件系统中,PDDB通过对文件创建副本,按照容量均衡的方式进行文件副本的合理放置,同时设计了镜像和交错的两种副本放置模式。PDDB在各数据服务器上构建了自适应的负载监控系统,由元数据服务器收集各个节点的CPU、内存、存储空间、网络带宽、磁盘带宽等负载信息,经过对负载信息的整合处理,并结合已经获得的历史数据信息,以综合负载的大小决定任务分配的概率,将访问均衡地分配到当前负载较低的一组服务器上,并通过热点迁移调度各个节点之间的负载状态,避免群聚效应。并加入副本元数据的管理以及副本一致性的维护,保证当任一副本的存储节点发生故障时,可以通过其他副本正常获取文件内容,确保系统的正常运行。在测试中发现,与使用随机算法和最小负载优先算法的负载均衡机制相比较,PDDB机制使得各存储节点之间的最大负载差距比二者分别减少了42%和30%,且在文件系统总负载相同时,各个节点的负载变化也相对平缓,平均负载至少降低10%以上。文件系统的平均网络吞吐率提升20%,可靠性、稳定性和可扩展性均得到改善。