基于FastDFS的轻量级分布式文件系统的设计和实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:jueai831015
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅猛发展,信息呈现出爆炸式的增长,传统的文件存储方式已经不能满足系统对于存储空间和处理时间的要求。高性能的分布式文件系统成为相关领域的研究热点。  FastDFS是一个开源的分布式文件系统,FastDFS的文件命名方式和分组方式等机制使得它具有轻量级、高扩展性等优点。在国内外学者已有研究工作的基础上,基于开源分布式文件系统FastDFS,本文针对如今互联网应用的特点,为要求高实时性的互联网应用量身定制了一款分布式文件系统,相比于FastDFS更适合大量文件的存储,特别是短时间内需要响应大量请求的应用。本文主要对FastDFS在以下方面进行了改进:一是同组storage server间同步机制的优化,由原来的根据binlog定时同步更新优化为上传文件的同时进行文件的同步;二是加入缓存层,因为对于互联网应用,本次访问的图片、视频等资源很有可能在短时间内继续被访问。三是对大文件进行分片存储,分片存储方式不仅使系统可以存储更大的文件,而且如果在某台机器宕机或者新增加存储服务器的情况下,只需要同组其他机器同步过来一个文件块的情况下,本机就可对外提供该文件的下载服务,相比于同步整个文件可以更快的对外提供服务,提高系统的可用性和吞吐量。  基于VMware虚拟机和Ubuntu11.04操作系统,对本文提出的方案进行了实验测试,与现在FastDFS的最新版本V4.06相比,本文设计的一系列机制能够更快的响应客户端的请求,具有更高的实时性,更好的满足了如今互联网应用对文件操作的需求。
其他文献
笔者在就学期间研究设计并实现了CTI中间件软件,该系统采用面向对象的设计,结合中间件与COM技术,为中小型CTI呼叫中心的设计应用提供可靠的、分布式的CTI应用业务平台。这个平台
随着软件开发规模和复杂性的不断提高,软件危机愈加明显的暴露出来。提高软件生产率成为软件产业的当务之急,基于软构件的软件复用技术成为解决这一危机的重要技术。本文针对教
由于智能手机的迅速普及,社交网络的访问模式正转移到移动设备访问模式。另一方面,越来越多的应用正运行在Open-API的手机操作系统上。这一开放使得病毒及恶意软件可以利用人们
电动汽车以节能、清洁无污染而备受人们关注。作为电动汽车重要组成部分之一的电池管理系统一直是业内研究的热点问题。如何准确预测动力电池的荷电状态是电池管理系统的关键
1998年,Tim Berners-Lee提出了语义Web的概念,目标是通过向数据中添加机器可理解的语义和启发式的使用元数据来实现机器自动处理信息,数据的清楚语义加上领域理论(即本体)将使得
在当今的网络监控、电信数据管理、传感器数据监控等应用中,数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式,对数据的访问也是多次和连续的,并要求即时的
网格是建立在互联网之上的新一代基础设施,是继Internet之后又一次重大的科技进步。网格的目标是实现异构资源共享,及用来解决大规模计算或数据密集型计算等问题。 网格资
新兴的多媒体社交网络(Multimedia Social Network, MSN)服务与工具为用户之间数字内容(如电子书、数字图像、音视频等)的分享提供了便利。多媒体社交网络平台显著地改善和丰富了
本文对SIP协议的VOIP网关的实现进行了研究。文章介绍了语音通信的现状和VOIP技术的概要知识;研究了VOIP相关的各项关键技术,主要有建立通信会话的信令技术、为了便于传输而产
因特网上的信息日益丰富,已经成为知识获取的一个重要来源。信息资源的丰富也使信息的检索有如大海捞针,检索到自己所需要的信息资源效率不高。对信息进行整理,提高信息检索的效