异构数据可靠性需求下的分布式存储框架设计

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:pingli_lp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息化时代数据的规模日益庞大,海量数据的可靠存储问题值得研究。纠删码是一种数据块级的冗余存储机制,它能以较低的冗余度提供高数据容错能力,因而被广泛应用于分布式存储系统和云存储系统中。但它在修复节点故障引起的数据块丢失时需要跨域传输大量可用块,该性能瓶颈导致纠删码在分布式存储系统中无法充分发挥其性能。虽然已有大量研究针对纠删码的修复性能进行了优化,但研究方向主要针对减少跨域传输的可用块的个数。同时,研究表明大规模集群系统中的存储介质在可靠性方面具有较大异构性,数据采用纠删码存储时的块映射策略会直接影响数据正常读取、降级读取和丢失的概率进而影响访问性能,而在实际生产生活中,数据的价值密度分布十分不均匀导致数据对访问性能需求各不相同,因此数据的可靠性需求也存在异构。基于以上背景,本论文设计了一个支持纠删码的异构数据可靠性需求下的新型分布式存储框架He Re EC(Heterogeneous data Reliability Requirements EC),从纠删码的块放置和数据压缩两方面入手进一步缓解纠删码的性能瓶颈,主要工作如下:分析了异构存储介质可靠性环境下的块布局对数据的不同读取概率的影响,并提出了一种基于DQN网络的智能块布局方案,可以在满足不同数据的访问需求的同时尽可能地降低数据的冗余度,减少存储开销。利用数据压缩技术对纠删码生成的块进行压缩,减少网络传输量的同时进一步提升纠删码在分布式存储系统中的存储利用率。在真实集群环境中实现了我们提出的新型的分布式存储框架,并和几种先进的纠删码策略进行了性能对比,实验结果表明,He Re EC的写入性能可以比纠删码本身提高4.8%~12.7%,正常读取和降级读取性能可以分别提高18.2%~22%和27.4%~30.3%。
其他文献
近年来,科技的发展突飞猛进,人工智能科技的潮流冲击着各行各业,教育行业也不例外,因此,探索人工智能领域的新技术对教育教学的发展,是非常有意义的。在体育教学的改革与创新中,录像反馈得到了广大教师和学者们的认可,而智能手机的普及和手机摄像头分辨率的提升,大大提高了录像反馈的便捷性,使得录像反馈在体育教学中的应用频率日益增加。本文将从优化录像反馈的切入点出发,在录像反馈中融合人工智能领域的人体姿态估计技
学位
民办教育是我国教育行业不可替代的构成要素。我国的民办学校超过十八万所,这占全国学校总数1/3以上。民办教育确实已经是不可忽视的一部分,并且在促进教育改革中有不可替代的作用。教师是促进民办高中未来发展的重要因素,而民办高中存在教师结构不合理,教学业务层次不齐等问题,目前民办高中的教师胜任素质不能适应教学发展的需要,更不能满足学生培养的需要,制约了民办教育的发展。本文是基于胜任素质理论,构建民办高中教
学位
近年来,国家对高等教育相继提出了“课程思政”和“四新”建设要求。各高校从自身的院校定位出发,加强顶层设计,将课程思政真正落实到教学中去。文章以应用型本科院校外语专业的《高级英语》课程为例,通过重构教学目标和教学内容,升华价值体系,建设课程资源,构建了基于“中国大学慕课+慕课堂+课堂+QQ课程群”的线上线下混合式课程思政教学体系,实现了“双线”激活学生的内驱力和课堂活力,有效推进了本校外语专业课程思
期刊
经济的自由性与流动性决定了经济要素要不断冲破国别疆界的限制,在全球范围内寻找最适宜资本累积和增殖的场所。跨国公司作为资本逐利的显性工具,因而会自动选择最有利于其投资利润富集的国家或地区。然而在过分追逐企业经济利润的同时,跨国公司往往忽视对社会责任的承担,其中对环境生态的关注缺位给东道国的生活环境带来不可磨灭的伤害。从母国视角出发,如何规范跨国公司的海外投资经营行为,促使其积极履行环境保护责任,树立
学位
该文以某高校英语专业三年级学生为研究对象,通过用问卷方式调查《高级英语》课程思政实施现状,并提出相关优化措施。研究目的如下:(1)了解该课程思政实施现状;(2)分析存在问题;(3)提出优化措施。研究发现:(1)当前该课程思政实施状况较好;(2)该课程思政的实施在教学内容、教学方式方面尚有待改进;(3)教师应结合学生需求进行优化,提升育人效果。
期刊
随着中国生育政策的放开,国家开始推进学前教育的全面普及,强调适龄儿童需要普遍接受有质量的学前教育,由此可以看出对儿童教育的重视程度在不断提升。与此同时社会与家长们也开始对儿童教育空间的环境营造以及相关的理念越发关注,这是由于儿童教育空间环境的营造在早期儿童集体活动中扮演着比较重要的角色,良好的教育空间设计会在儿童学习生活中影响着他们的认知与发展。而几何形态本身简约多变、灵活可塑的造型特点,既可以根
学位
公平公正待遇自1945年被首次提出后,经过几十年的发展,在21世纪初得到了广泛地采纳。这一定程度上印证了公平公正待遇条款存在的必要性。早期,采纳公平公正待遇条款的多为发达国家,现如今大部分国家都认可公平公正待遇条款,包括一些传统上不认可公平公正待遇条款的国家。其成为了国际投资协定的重要组成部分,这表现在许多国家间的国际投资协定以及自由贸易协定的投资章节中都明确规定了公平公正待遇条款。由于公平公正待
学位
传统运营商一直是数据管道的角色,当前面临着增长乏力,缺乏新的盈利点,同时还面临着来自互联网企业的竞争等问题。而运营商本身拥有的优势在网络资产、客户资产、本地化服务能力和公信力,这些要素都将使得运营商有优势并能够以其为中心建立起新的生态链,成为应用平台经济的使能者。所以在整个应用平台化转型的大潮下,很多运营商都在做积极的转型探索和实践。在转型过程中,运营商在定位、思维各方面产生了全方位的变化,这种新
学位
万物互联的迅速发展,涌现出了大量不同类型的网络协议和网络资源,包括在工业物联网、天地一体化网络、卫星网络和海洋网络等不同领域内出现的诸多有线和无线网络协议,比如新型互联网中的SRv6,工业物联网中的Lo Ra,移动通信网中的5G等协议。多种网络丰富了场景和需求,消除了信息孤岛,构建多协议网络一致化视图和融合网络负载均衡是未来网络某些应用的现实需求。在多协议融合网络的场景中,融合不同类型的网络出现了
学位
随着开源技术的不断涌现及云计算的发展,工作流管理系统可作为SaaS(软件即服务)为政企创造更多价值,这使得部署在云中的工作流管理系统可以方便的实现资源供给等功能,一定程度上满足了系统的高并发和高可用。由于用户量的增加以及流程业务的复杂性,工作流管理系统在运行中往往会收到大量、突发的流程实例请求,也即动态负载,因此会导致以下两个方面的问题。一方面,由于现有系统不断的对定量的缓存进行替换,因此随着请求
学位