分布式虚拟卷存储系统的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:liongliong581
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在应对不同容量规模的文件存储的场景里,现有分布式存储系统采用的存储策略是固定文件分块大小的方式,如GFS和HDFS等,固定分块目的是为了提高服务器并行写入数据的性能和减少中心节点元数据。但随之而来,在存储小文件或大文件末尾块时,易产生磁盘碎片。此外现有分布式存储系统在频繁访问热点文件时,可能造成系统过载问题。因此,本文利用灵活的分块策略和高性能的缓存策略,设计了分布式虚拟卷存储系统。具体研究内容如下:1.基于滑动窗口的数据分块方法。在进行文件存储时,对文件进行分割,将文件以最优分块大小进行存储,一方面使得整个存储系统拥有更好的文件均匀度另一方面减少冗余数据的存储。2.中心节点选举与调度任务算法。中心节点通过选举来避免单节点故障而导致整个集群不能工作,提高系统高可用性;调度任务算法是一种基于节点容量感知的带虚拟节点的一致性哈希,通常意义下的带虚拟节点的一致性哈希视所有物理节点均是一样的,而容量感知的带虚拟节点的一致性哈希充分考虑到物理节点的差异性,从而让系统达到负载均衡的状态。3.内存缓存结构组织设计与其淘汰算法。缓存节点使用更优化的内存缓存结构减少内存碎片;使用2Q淘汰算法保证热点数据访问的命中率。最后,对系统进行针对性功能和性能测试后,实验数据表明,本系统不仅能对不同规模文件进行存储,保证数据的正确性和可靠性,而且能够结合相应的优化策略,在一定程度上提高系统的性能。
其他文献
资源库是计算机辅助创新系统中的一个重要库,多年来一直通过人工抽取资源进行填充。资源库的数据量对辅助创新具有重大价值和意义,所以如何从海量文本中自动高效地抽取资源受
近几年来,开发的主要微孔注射成型技术有Mucell、Ergocell和ProFoam,它们的技术区别在于超临界流体注入和计量方式的不同,在微孔发泡注射成型过程中,超临界流体在聚合物熔体
教育需要以生命为根本出发点,以促进生命发展、提高生命质量为责任,以追寻生命价值和生命意义为目的。生命化音乐教育是构成生命教育体系的重要分支系统,也是实践生命教育理
行人再识别(Person Re-identification,Person Re-ID)指给定一个摄像头网络中某一摄像头下的行人图片,自动提取出其它摄像头下同一行人的图片。由于摄像头部署差异和行人运动,同一行人表现的外表特征会有较大变化,给行人再识别带来了巨大的挑战。基于深度学习的行人再识别系统可以有效提取行人的外表特征,效果,但需要大量的训练数据,而当前的行人再识别数据集规模都比较小,无法完全满
随着人工智能、机器学习以及模式识别等技术的蓬勃发展,表情分析在机器视觉等领域成为一个重要的研究方向,在人机交互、远程教育、医疗、日常生活以及安全等方面有着广泛地应
随着网络的大范围普及,网络终端的接入数量爆炸式增长,网络业务也更加多元化,对传统网络的组播模式带来新的挑战。软件定义网络(Software Defined Network,简称SDN)解耦了网络的控制和转发功能,提出可编程化的新型网络架构,为组播业务的优化提供了更多可能性。然而,现今对于SDN组播的研究多数集中在单域组播路由算法的改进上,在多域协同的SDN环境下,设计并实现符合目前组播服务需求的完
公簿持有农是英国农民阶级的重要组成部分,它的兴起和发展体现了英国社会经济的不断变迁。本文主要研究的时间段为14世纪中后期至20世纪上半叶,共分为三个章节进行探析。第一章讲述公簿持有制的初步发展。从维兰到公簿持有农,是农民身份的转变,也是中世纪英格兰社会环境变化的重要表现。公簿持有制的土地期限较长且有着固定的低地租,这种保有关系在英国迅速发展。第二章讲述圈地运动与公簿持有农的关系。笔者以都铎王朝和议
人工智能时代是数据驱动的时代,有了数据就能够获得真实世界的规律并有利于人们更好地做出决策。在图像识别和机器视觉技术领域,如图像、视频这样包含了大量数据的载体也是人工智能时代十分重要的数据来源。不同于普通的表格数据,这些数据的表现形式和处理方法直接决定了人们能从中挖掘出多少有用信息。因此,图像识别技术是人工智能发展领域中十分重要的一部分。头部姿态估计是图像处理和机器视觉中的一大研究热点,其检测过程是
格被广泛应用于拓扑学、逻辑学、组合学和代数学等数学领域.格与群、环、域都是代数学中重要的代数系统,而与群、环、域不同的是,格是一类特殊的偏序集.格作为偏序集能够更准
迁移学习或域适应学习是目前机器学习中一个热点研究领域,利用与目标域相关的源域知识辅助目标域的学习。异构域适应学习(Heterogeneous Domain Adaptation,HDA)是域适应学习的重要分支,由于源域和目标域间的特征空间不同,域间的知识迁移更具有挑战性。如何对齐不同的特征空间,自适应地迁移相关知识对于HDA而言至关重要。目前已出现很多HDA方法,但仍存在以下不足:1)只注重对齐源