论文部分内容阅读
FastDFS分布式文件系统作为当今网络环境下主流的中小文件存储架构,它有着轻量级、高性能与高扩展的特点,被各大企业广泛应用。其中,新增存储节点作为FastDFS降低系统负载、增加系统吞吐量与容灾备份的重要操作,具有重要意义。但是在新增存储节点所必须完成的源文件同步任务分配中,它采取的方法过于简单,工作效率低下,并且在原有对外上传下载等服务,产生的服务负载基础上,容易造成负载倾斜与性能瓶颈,影响到对外服务质量,从而改进原有的新存储节点同步任务分配方法,不仅可以提高同步效率,还能降低系统整体负载,保证系统对外服务的稳定性。因此,本文基于FastDFS新存储节点同步任务分配问题,提出LBB-STA算法完成多节点负载均衡的计算,计算结果作为考虑老存储节点同步任务分配调度优先执行新存储节点同步任务的参考标准,结合多个老存储节点并发任务执行机制,合作完成新存储节点同步任务。该算法以改进原有的FastDFS新增存储节点同步任务分配算法为创新点,借鉴经典负载均衡算法的思想与适用环境,充分考虑老存储节点性能与服务负载,通过对存储节点状态信息的周期采集,计算处理性能容余率,按照处理性能容余率进行分组处理,然后在高分组内均分同步任务,再由被分配同步任务的多个老存储节点,以并行方式开启异步线程,向新存储节点进行源文件同步工作。LBB-STA算法充分考虑存储节点在实际工作中的真实负载与性能容余,将同步任务合理均衡分配至存储节点,从而提高系统资源利用率,与系统负载的稳定性。最后,对LBB-STA算法进行编程实现,设计同步时长与负载率两组对比实验,对比原算法与LBB-STA算法同步相同大小文件使用的时间与存储节点负载率。实验表明,在已有三台老存储节点,进行20GB文件数据同步的环境下,LBB-STA算法比原算法在同步效率上提升了67%,在平衡负载率上提升了61%,验证了LBB-STA算法的合理性与优越性。