基于网络编码的分布式存储码技术的研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:tonykaier
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字信息从文本到多媒体的转变以及社会信息化进程的加快,信息量开始呈几何级数爆炸性地增长,海量数据的存储和处理受到社会各界越来越广泛的关注。分布式存储系统(Distributed Storage System)正是一种结合了互联网和存储技术的面向海量数据的存储解决方案。然而,由于网络的不稳定性,分布式存储系统中很容易发生由于节点失效导致的数据无法取回,因此往往需要采取某种冗余机制来提高可靠性。同时,系统需要具有对失效节点所存储的数据进行修复的能力以维持其容错性能,但这一过程可能引起大规模的数据传输。  利用网络编码技术不仅能够提高系统的容错能力,而且能够优化冗余带来的额外存储消耗和数据修复过程的带宽消耗。传统的分布式存储一般采取的是基于纠删码的方法,在一定程度上提高了数据的可靠性,但在数据修复时会产生很大的带宽消耗和计算负载。针对这一问题,本文引出了再生码的概念,并讨论了基于再生码编码策略的三种数据修复模型,通过比较和分析得出了可精确修复的编码方案有更好的实践价值,并分析和总结了现有的精确修复再生码编码方案。  在此基础上,本文提出了一种适用于分布式存储系统的新型准循环再生码编码方案,该编码基于循环结构,是一种不失一般性的再生码构造策略,具有构造简单、运算代价低和修复带宽小等特点。文中详细阐述了其定义和构造方法,并对其构造条件和性质进行了详细的分析和精确的证明。同时,本文针对该编码方案节点修复时的两种限制条件,分别进行了研究和分析:在弱限制条件下,给出了两种节点修复算法,并分别证明了修复带宽的边界(最好情况和最坏情况),同时通过对参数的设置给出了一种准循环MSR码构造方案,不仅存储消耗小而且能够达到修复带宽的最小割下界;在强限制条件下,分析了准循环再生码的扩展性质,并证明了这种限制条件下准循环MSR码的存在性及其存在条件。
其他文献
随着多媒体技术的发展,视频信息的飞速增长,能够快速高效地访问海量的视频信息,已成为信息时代人们迫切需要解决的问题。因而,视频检索系统应运而生,但由于多媒体格式种类繁
油品经营企业的数据量比较大,采用手工方法收集数据进行分析,会浪费大量的时间,人力和财力,在很大程度上影响企业的效益。本课题从企业的实际情况出发,着眼于其发展,为其开发
本文对基于GBPEL的网格工作流引擎进行了研究。文章将BPEL4WS的许多特性引入OGSA网格环境中,深入分析了网格服务的生命周期管理机制、服务创建机制和实例管理机制等,并详细阐述
软件定义网络(Software Defined Networking,SDN)是近年来提出的网络架构模型,它能应用在云计算数据中心、企业网络等处,具有易管理性、高安全性等特点。云计算也是近年来提
本文对基于大数据集学习问题的支持向量机训练算法进行了研究。文章首先围绕最大间隔超平面的思想,基于凸包与约简凸包的概念从几何角度对支持向量机进行了分析与解释;其次基于
压缩感知(Compressed Sensing,CS)是近年来提出的一种新的信号采样方式,它指出当信号是稀疏的或可压缩时,可以通过非自适应的线性投影的方式,用远低于奈奎斯特采样定理要求的
随着人类社会的进步和计算机网络技术的发展,数据信息与物质和能量并列成为世界三大资源。在信息爆炸的时代,为了从大规模数据中提取关键信息,迫切需要高效的查询处理技术。Top-
随着Internet应用的不断深入,网络已经成为人们日常生活中的一个重要组成部分。每天承载着我们活动信息的海量数据,在网络中不停的流动、交换。这些记录人们网络行为的数据中隐
传统网络中的路由机制不能达到最大的信道利用率。为了达到理论上的最大速率,可以采用网络编码机制。网络编码机制允许网络中的中间节点对收到的信息进行编码。这一机制在网
随着计算机网络规模的扩大及网络攻击行为的泛滥,网络安全成为一个倍受关注的焦点,并成为国家安全的重要组成部分。入侵检测作为保护网络安全的重要技术手段,正受到越来越多的网