论文部分内容阅读
随着互联网的迅猛发展,信息呈现出爆炸式的增长,传统的文件存储方式已经不能满足系统对于存储空间和处理时间的要求。高性能的分布式文件系统成为相关领域的研究热点。 FastDFS是一个开源的分布式文件系统,FastDFS的文件命名方式和分组方式等机制使得它具有轻量级、高扩展性等优点。在国内外学者已有研究工作的基础上,基于开源分布式文件系统FastDFS,本文针对如今互联网应用的特点,为要求高实时性的互联网应用量身定制了一款分布式文件系统,相比于FastDFS更适合大量文件的存储,特别是短时间内需要响应大量请求的应用。本文主要对FastDFS在以下方面进行了改进:一是同组storage server间同步机制的优化,由原来的根据binlog定时同步更新优化为上传文件的同时进行文件的同步;二是加入缓存层,因为对于互联网应用,本次访问的图片、视频等资源很有可能在短时间内继续被访问。三是对大文件进行分片存储,分片存储方式不仅使系统可以存储更大的文件,而且如果在某台机器宕机或者新增加存储服务器的情况下,只需要同组其他机器同步过来一个文件块的情况下,本机就可对外提供该文件的下载服务,相比于同步整个文件可以更快的对外提供服务,提高系统的可用性和吞吐量。 基于VMware虚拟机和Ubuntu11.04操作系统,对本文提出的方案进行了实验测试,与现在FastDFS的最新版本V4.06相比,本文设计的一系列机制能够更快的响应客户端的请求,具有更高的实时性,更好的满足了如今互联网应用对文件操作的需求。