基于网络编码的分布式文件系统设计与实现

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:kassilw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电子信息技术的发展,新的信息以一种前所未有的速率在产生和处理,同时网络也大大加快了信息传播的速度,这使得对海量信息的处理成为了人们的一种迫切需求。仅仅使用本地存储应对这些信息会需要很多功能和性能的限制,如低可靠性、较差的移动性和不利于文件共享等,人们开始倾向于使用网络存储这种新手段。分布式文件系统是网络存储的基础组成部分,其研究也受到了学界和工业界的广泛重视。分布式文件系统通常能够提供高可靠性的数据存储,并具有良好的扩展性。为实现这些功能,需要在存储层面的数据放置机制上进行针对性的设计。已有的手段主要包括复制机制和纠错编码,它们都有其各自的适用范围和局限性。本文的研究是在数据存储层面使用网络编码方法,对文件进行分段分块编码存放,并且在系统功能的设计实现上给出网络编码的方案。本文的分布式文件系统提供了统一的命名空间,遵守位置无关性和透明性,能实现基本的文件和目录操作,并保证了系统内部实现对用户的透明性。系统采用了集中式的体系结构,由索引服务器、存储节点和客户端组成。借助网络编码的机制,索引服务器可以维护系统在运行时的负载均衡性,并且在发现数据失效时对节点和数据进行恢复,在有新节点加入时,索引服务器发起再均衡化过程,保证了系统具有良好的扩展性。本文首先介绍了分布式文件系统的研究现状,及其具有的功能和分类,在对存储层常用的数据放置冗余策略进行介绍之后,给出了本文采用的网络编码方式的数据放置方案;之后详细描述了系统的设计和实现,以及对负载均衡和节点恢复问题的解决方案;最后介绍了实验设计方案和性能评测结果。
其他文献
智能手机作为与用户关系密切的个人设备,其安全性特别是对用户隐私的保护能力显得尤为重要。然而,作为目前最为流行的智能手机操作系统之一,Android系统的安全框架却存在一些
会话初始化协议SIP(Session Initiation Protocol)是由IETF提出并主持研究的一个在IP网络上进行多媒体通信的应用层控制协议,它被用来创建、修改和终结一个或多个参与者之间
弦振传感器是一种把应力大小转化为对应钢弦振动频率的的应力采集装置,它几乎是岩土工程领域中预埋在大坝和建筑物里能够长期稳定工作的唯一测量器件,其结构简单,坚固耐用,稳定性好,精度较高,输出为频率信号,可与微机直接接口,广泛的应用于水电工程、铁路交通、矿山石油、土木建筑物及地基内结构中。弦振传感器频率测量仪是用于此类传感器的测量装置,使用它对预埋的传感器进行测量,工程技术人员可以获得关键点的受力数据,
类测试中的基于状态的测试一般是以状态机模型为基础的测试。类状态机用于刻画对象响应各种事件时状态发生迁移的情况。测试执行时根据相应的覆盖标准对状态转换图进行遍历,
医药电子商务的迅速发展与互联网商品监管手段与技术的落后,导致了网上违规药品发布的泛滥。违规药品不仅需要通过在线产品监测引擎进行实时监测,更需要智能地获取违规药品所
H.264/AVC是由ITU-T的视频编码专家组以及ISO/IEC的运动图像专家组联合制定的新一代视频压缩编码标准,它不仅继承了以往视频压缩编码标准的优越性,而且新增添了众多先进技术。
视频监控中的人物越界检测技术对于小区安保,商场安全以及厂房管理具有很重要的意义。不仅能为小区,单位,企业节约人力成本,更能在全天24小时不间断的实时监控中实现预警功能。然
抽象解释理论是Cousot.P和Cousot.R于1977年提出的程序静态分析时构造和逼近程序的不动点理论。它的一个重要应用是分析程序中的变量或约束表达式的值域。这些值域信息有助于
嵌入式实时操作系统产生于二十世纪八十年代中期,旨在解决当时越发庞大复杂的嵌入式系统给软件开发人员带来的困难和危机。μC/OS-Ⅱ作为一款性能优越的实时内核,其实时性能得
随着通信技术的发展、计算机的普及,信息安全问题逐步暴露在人们眼前,继Snowden事件之后:2015年,社保系统被爆漏洞,社保成为了个人信息泄露的“重灾区”;美国第二大医疗保险公司