面向泛在存储的纠删码理论与技术研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:cuilu206
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网(Internet of Things,Io T)的飞速发展,全球数据流量呈爆炸式增长。数据在规模方面的显著特点是体量庞大和海量增长,对系统的可靠存储能力提出了严峻的挑战。与此同时,边缘物联网设备数量庞大,这些设备上存在着大量的空闲存储空间及闲置带宽,若能将这部分资源充分利用起来,那么就可以构建起一个更加廉价、高效、安全的泛在存储系统。与传统数据中心式的分布式存储系统相比,泛在存储系统具有去中心化,存储容量大,抗毁性强等优势,逐渐受到了国内外学术和产业界的广泛关注。泛在存储系统目前普遍采用复制方案或纠删码方案来保证数据持久性。近年来,由于纠删码方案相比于复制方案可以在显著降低存储空间消耗的同时提供相同甚至高得多的数据容错能力,因而受到泛在存储研究领域的青睐。虽然纠删码技术在数据中心式的分布式存储系统中已经是成熟方案,但是纠删码在实际的泛在存储系统应用时面临着三方面的挑战:第一,纠删码在数据修复时带来大量修复带宽开销,且传统纠删码的编码参数固定,难以匹配泛在存储系统节点高抖动的特性,导致数据持久性和系统可靠性降低;第二,传统纠删码方案在数据修复时未考虑到泛在存储系统中带宽较小的节点,导致数据修复时间较高;第三,传统纠删码的编解码需要在复杂的有限域上进行计算,导致编解码效率较低。本文在纠删码理论的基础上,主要针对上述存在的三方面挑战开展研究,主要研究内容包括:(1)环境自适应参数算法(Environment-adaptive Parameters Algorithm,EAP)针对传统纠删码参数固定,难以匹配泛在存储场景的问题,提出一种环境自适应参数算法,可以根据网络环境自适应调整纠删码参数。EAP可以在不增加存储开销的前提下维持期望的持久性。实验结果表明:面对多节点失效场景时,与目前广泛应用的几种纠删码相比,EAP可以维持稳定的数据持久性并降低修复带宽开销。(2)最优修复开销参数算法(Optimal Repair Cost Parameters Algorithm,ORP)在EAP的基础上提出了用于不同场景的最优修复开销参数算法,它在实现最优修复带宽开销的同时还可以满足期望的持久性。ORP还可以根据泛在存储系统中慢速节点比例自适应参数,以减小修复时间。由于ORP在EAP的基础上放松了对存储开销的限制,因此该算法更加适用于带宽敏感的存储系统中。仿真实验表明,面对多节点失效场景时,与目前广泛应用的几种纠删码相比,ORP可以将修复带宽开销和修复时间分别降低约47.38%和18.09%。(3)低复杂性截短纠删码方案针对纠删码编解码复杂度高的问题,通过分析基于矩阵乘框架的纠删码编码和解码修复环节的计算开销,发现有限域上的计算量主要集中在乘法运算。通过构造对数表和指数表并结合截短的思想,提出了一种新的低复杂性截短纠删码构造方案,可以提高计算效率,摆脱有限域上的复杂运算。最后与传统纠删码相比,低复杂性截短纠删码方案可以将存储空间节省约16.67%,并将编码和解码时间分别降低约51.68%和48.05%。
其他文献
精心设计组织探究活动,让学生经历概念生成的过程.通过类比迁移、抽象概括,让学生感受无理数的存在性,理解无理数概念产生的合理性,感悟数系扩充的必然性.在体会知识生长、归纳研究方法、积累经验的过程中,发展数学核心素养.
期刊
学位
随着国家法治社会的推进以及法律法规的日益健全,公众采取相应的法律措施来维权,已成为维护自身权利与解决生活问题的一种重要手段,由此带来了海量的法律文本数据。然而,如何利用人工智能技术来获取法律文本数据中有价值的部分,并提高司法判决的效率和公平公正,是智慧司法的主要研究领域之一。法律判决预测(Legal Judgment Prediction,LJP)作为智慧司法的一部分,具有很高的研究价值。法律案件
学位
进入新时代意味着面临新的挑战,初中阶段作为学生人格发展的重要时期,数学教育不能停留在教知识学知识,还应注重学生品德发展,因此,使学科教育发挥育人作用,在初中数学教学中践行课程思政理念,是新时代教育工作者的责任。在文献研究的基础上,本研究结合马克思主义关于人的全面发展理论和课程文化发展理论划分了课程思政的结构维度,即国家、社会、个人和数学价值观四个维度,并将这四个维度中思政元素渗透初中数学教学之中,
学位
网络继续教育作为高校继续教育的重要教学组织形式,是促进高等教育服务大众、构建服务全民终身学习教育体系的重要途径,能够为新时期推进教育高质量发展提供助力。教学内容作为网络继续教育的核心要素与关键载体,具有丰富的情感性与生命性,深入研究网络继续教育教学内容的情感化设计,充分考虑网络继续教育教学内容选择、内容组织与内容呈现等环节中引发情感的要素并加以合理设计,有利于发挥教学内容调动学生情感方面的积极作用
学位
学位
跨期选择(intertemporal choice)是指个体对发生在现在以及未来时间点上的成本与收益进行权衡与取舍,从而做出的选择(Loewenstein,1988)。例如,面对今天获得100元钱还是一周后获得150元钱时,你将如何选择?面对现在快乐消费还是为未来进行储蓄时,你将怎样选择?面对今天美餐一顿还是为了未来的身体健康而努力锻炼时,你将怎样选择呢?这都是我们在日常生活中常面临的跨期选择(何
学位
随着集成电路技术的发展,诞生了峰值运算能力达每秒数百亿甚至千亿次的高性能数字信号处理器(Digital Signal Processor,DSP),这对高性能计算领域起到了极大的推动作用。然而,随着处理器计算性能的不断提升,传统千兆以太网接口的通信速率已然无法满足处理器对外部数据的需求,从而造成数据通信瓶颈,制约DSP芯片的处理效率。因此,针对高性能DSP芯片的万兆以太网接口设计与实现迫在眉睫。本
学位
随着信息科技进入大数据时代,飞速发展的物联网、人工智能等新兴科技,急需拥有更快读写速度、更高存储密度、更低功耗和更长数据保存时间的新一代信息存储器件。在各类新型非易失性存储器中,结构简单且与当前主流CMOS制备工艺兼容的电阻随机存储器(RRAM)脱颖而出。而随着折叠屏手机,曲面电视以及可穿戴电子产品的陆续问世,新型柔性RRAM器件成为了新的研究热点。传统全柔性有机RRAM器件具有很好的柔韧性,但器
学位
刻板印象威胁是指由于人们对某一群体的特征或属性持有消极的刻板印象,导致所属内群体成员担心自身的行为表现会证实这一消极刻板印象,同时担心他人可能会用这种消极刻板印象来看待和评判自己,从而产生的一种心理上的威胁感和压力感。以往关于刻板印象威胁的大量研究发现,刻板印象激活后,不仅会对受威胁个体的行为表现产生负面影响,而且会增加受威胁个体对刻板印象领域的不认同和心理脱离,破坏对刻板印象相关领域的兴趣和归属
学位