分布式文件系统下的网络编码方法应用研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:dubolzu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电子信息技术的发展,新的信息以一种前所未有的速率在产生和处理,同时网络也大大加快了信息传播的速度,这使得对海量信息的处理成为了人们的一种迫切需求。仅仅使用本地存储应对这些信息会受到很多功能和性能的限制,如低可靠性、较差的移动性和不利于文件共享等,人们开始倾向于使用网络存储这种新手段。分布式文件系统是网络存储的基础组成部分,其研究也受到了学界和工业界的广泛重视。   本文的研究是在分布式文件系统的存储层面使用网络编码方法,对文件进行分段分块编码存放,并且在系统功能的设计实现上给出网络编码的方案。本文显示了网络编码在分布式文件系统中应用的可行性与有效性,而且本文系统与常用的复制方式相比,在占用相同的存储空间的情况下可以实现更高的数据可靠性;与纠错编码方法相比,不需要中心节点保存大量的有关编解码的信息,在进行数据编码解码时不需要中心节点的参与,从而有效地降低了其负载,提高系统整体的效率。借助网络编码的机制,中心节点可以更加容易地保持系统的负载均衡性,在发现数据失效时对节点和数据进行恢复,在有新节点加入时发起再均衡化过程,保证了系统具有良好的扩展性。本文工作主要包括以下几个方面:(1)采用集中式的系统架构设计分布式文件系统,包括索引服务器、存储节点和客户端三个部分;(2)采用网络编码方法设计对文件进行分段分块的编码放置策略;(3)设计具有统一命名空间的文件系统接口层,遵守位置透明性和无关性,提供基本的文件操作;(4)使用网络编码方法解决系统的负载均衡和节点恢复问题。   本文首先介绍了分布式文件系统的研究现状,及其具有的功能和分类,在对存储层常用的数据放置冗余策略进行介绍之后,给出了本文采用的网络编码方式的数据放置方案;之后详细描述了系统的设计和实现,以及对负载均衡和节点恢复问题的解决方案;最后介绍了实验设计方案和性能评测结果。
其他文献
手机上网具有无可比拟的优点,它不受物理条件的限制,具有灵活、不易受黑客攻击等特点。由中国互联网络信息中心发布的《2009年中国移动互联网与3G用户调查报告》中指出,截至2
随着信息化技术在钻井行业的应用,钻井工程数据呈现指数级增长方式,海量的钻井工程数据的存储、分析及利用成为当前钻井工程行业的一个热点问题。本文利用Hadoop技术,设计并
随着互联网的高速发展,网络对安全保障提出了更高的要求。传统的安全技术主要是通过修补漏洞、安装防火墙、防御外部攻击等防御手段来抗击计算机外部的病毒、黑客的攻击和入
句法分析是自然语言处理的基本任务之一,是语义理解、问答系统等自然语言理解任务实现的基础。本文根据已有的现代汉语虚词用法知识库,初步探讨了基于汉语虚词用法的短语边界
当前,XML(可扩展标识语言)已经成为万维网的数据表示和数据交换的标准。随着XML数据越来越多,针对XML数据的查询与处理引起了越来越多的关注。近来,大量基于将XML文档视作树
近年来,随着对Bag of visual words(Bo VW)模型的不断研究,使得其在图像处理领域得到广泛的应用。由于图像在人们生活工作中发挥着不可或缺的作用,因此如何在庞大的图像数据
随着国内3G网络的开通,高速的3G无线网络给人们的生活带来了很大的便利。各种3G网络终端设备也开始应用于人们生活的方方面面。3G无线网关作为一款全无线工作模式的网络终端设
无人机在军事和非军事领域的广泛应用使飞行控制技术成为国内外的研究热点。地面站是飞行控制系统的重要组成部分。因此,研究适应不同任务需求的地面站对飞行控制系统的工程研
近年来,随着高清、超高清视频(分辨率达到4kx2k、8kx4k)应用逐步走进人们的视野,视频压缩技术受到了巨大的挑战。此外,各种软硬件的不断更新换代也使多种多样的视频应用不断
在诸如人工智能、机器学习、模式识别和数据挖掘等许多研究领域,智能系统中的知识,既有规律性的一般原理,又有大量的不完全的专家经验知识,这样的知识不可避免地带有随机性、