面向海量业务文件的分布式文件系统

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:sunapi1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的高速发展,数据资源也在不断膨胀。海量数据对文件系统不断提出更高的要求和挑战,传统的文件系统已不能满足高可扩展性、高可靠性、高可用性等新的要求,分布式文件系统应运而生。当前国内外已涌现出了众多优秀的分布式文件系统,但都应用在特定背景之下,无法满足本文所面临的海量顺序小文件存储要求。在此背景下,本文设计并实现了一个面向海量顺序小文件的分布式文件系统:SDFS(Distributed File System for Sequential Files)。   文章对比了目前几个主流的分布式文件系统,剖析其架构,总结其优缺点。然后研究相关理论技术,如数据通路、本地文件系统选择等,针对海量顺序小文件的特点,设计了SDFS系统。SDFS系统采用数据流和控制流分离的总体架构,其组成部分包括负载均衡器、存储节点和客户端。其中,负载均衡器维护元数据信息并进行负载调度,存储节点进行持久化的数据存储,而客户端负责发送数据操作请求。   SDFS设计了面向海量顺序小文件的存储优化方案。SDFS采用大文件块和特殊的块内文件结构对顺序小文件进行优化存储。文章介绍了大文件块的设计思路、文件块内部结构和文件块的关联方式。通过此优化方案,大大减少了数据操作过程中与负载均衡器的通信次数和文件的打开关闭次数,实现了顺序小文件的高效读写。在此基础上,通过索引文件,实现了高效的随机文件读取。   文章提出了基于负载均衡的存储策略。本文研究了静态负载均衡算法和动态负载均衡算法,并给出了SDFS采取的基于动态反馈的负载收集策略和基于概率模型的动态调度算法。SDFS将存储节点按存储容量百分比划分队列,以概率模型选取相应的队列,在队列中通过轮询策略选取相应节点,并在选取过程中跳过高负载节点,实现了文件块的均匀分布。同时,SDFS通过动态副本机制实现了数据的容灾方案。
其他文献
在互联网技术不断发展的今天,基于互联网技术拓宽业务发展领域,并实现新的经济增长点,是传统电信运营商非常希望达到的目标;与此同时,互联网内的用户也期望可以享受到更加可靠、方
近几年来,电信网开始逐步向端到端IP化的方向发展,力求为用户提供除传统语音通话业务以外的各种增值业务。然而,其网络架构的复杂性、硬件备份等特点,使之部署和维护成本高,升级和
双目立体视觉是计算机视觉研究领域的一个重要分支,在多种条件下都能够灵活准确的获得景物的深度信息,在图像处理和计算机视觉领域都有很重要的研究价值和研究意义。运动目标
随着通信系统的飞速发展,出现了各种各样的终端设备和接入网络技术。对于用户而言,他们在进行通信时可以感受到这些技术之间存在的壁垒。为了打破接入网之间以及终端设备之间
随着信息化的重要性逐步增加,信息化在我们的发展规划之中占有着重要的地位。其中电子政务的建设是国家信息化的一个重要方面,而政府的门户网站是电子政务建设的关键,也体现政务
移动通信技术正迅猛发展,移动智能终端如手机、平板电脑正逐渐普及,这一切为人们之间进行更加快捷和灵活的沟通创造了良好的条件。移动平台的视频通话就可以将对方的画面实时呈
移动互联网快速的发展,尤其智能移动终端的出现和普及,使得3G网络的用户量和数据流量都急速地增长。然而目前的3G网络在大量的数据面前各种问题突显出来,网络急需要改进,演进
纵观微处理器的发展历程,“摩尔定律”占据了举足轻重的地位,它指引着处理器芯片生产厂商不断地通过提升时钟频率的方式来提升CPU的性能。然而,过高的CPU主频不仅要求在同等大小
WLAN(Wireless Local Area Network,无线局域网)已经成为当下日益流行的无线接入解决方案,但现有的WLAN协议对QoS(Quality of Service,服务质量)的支持非常有限,致使多媒体(
近年来,随着宽带技术和无线移动通信技术的高速发展,互联网业务正经历着空前的发展高峰,网络应用业务类型更是逐渐多样化,与此同时网络流量的测量与分析也越来越备受关注。在日常