论文部分内容阅读
进入21世纪,随着移动通讯网络环境的不断完善以及智能手机的迅速普及,移动互联网迅猛崛起。移动互联网每天产生海量的文本、图片、音视频等小容量文件,而当前以GFS和HDFS为代表的分布式文件存储系统主要针对大文件存储进行设计,缺乏对小文件存储管理的针对性优化,因此在存储小文件时存在元数据服务器容量受限、系统访问效率低下以及存储资源利用率不高等问题。此外,当前分布式文件系统中大多采用的周期性动态反馈负载均衡算法存在一定缺陷。在该算法中,存储节点周期性的向调度节点反馈负载信息,但反馈周期的长度难以确定。反馈周期过短,会造成额外的网络开销,增大网络负载;反馈周期过长,调度节点获取负载信息的实时性降低。为此,本论文提出了一种新的可用于分布式文件系统的负载均衡算法;并设计实现了一个面向小文件的分布式文件存储管理系统,该系统基于FastDFS实现底层存储,结合Elasticsearch的强大检索功能实现文件的多维度搜索。本论文的主要工作:(1)为解决当前分布式文件系统中负载均衡算法存在的问题,提出一种新的基于QoS的自适应动态反馈负载均衡算法——QoS-ADFLB算法。(2)以FastDFS作为底层存储服务,对原生接口进行封装,实现对海量小文件的存储以及多线程并发访问。(3)针对不同类型的文件制定相应的属性提取策略,实现对文件属性集的提取。(4)基于Elasticsearch对文件属性集进行索引和存储,实现对文件的多维度检索和快速检索。(5)编程实现该面向小文件的分布式文件存储管理系统。为验证本课题的可行性,在服务器集群上进行环境配置和系统部署,对本论文设计的面向小文件的分布式文件存储管理系统的功能和性能进行验证和测试。实验结果表明本系统可以实现对海量小文件的高效存储与快速访问,并支持对不同类型的文件进行属性集的提取、存储和检索。同时,在服务器集群上搭建实际的分布式文件系统环境,通过对比实验对QoS-ADFLB算法进行性能测试,实验结果表明,QoS-ADFLB算法可有效降低系统平均响应时间,提高吞吐量,使系统负载达到良好的均衡。