RAIDTR算法研究与实现

来源 :第18届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:aerostock
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  本文提出了一种具有较小的运算复杂度、较高的存储利用率、支持三重冗余的RAIDTR算法,并对算法进行了详细设计。最后在linux下对RAIDTR算法进行测试,结果表明,在实验环境下,RAIDTR的读写性能接近RAID5与RAID6的读写性能。
其他文献
大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素,基于索引的数据筛选可提高可视化交互性能。大规模并行数值模拟程序使用HDF5层次化表示和存储被区域剖分的物理量数据,HDF5的数据集对象被用于存储各区域上的物理量数据块。由于数据块粒度太小,不宜创建数据索引。通过在HDF5中增加新的数据块视图对象来支持数据索引在HDF5中的实现。测试表明,数据块视图可加速数据读取性能,而
针对基于虚拟机构建计算平台,提出高效的面向数据密集型应用的支撑技术,是一个非常重要且具有挑战性的研究课题。目前,该研究领域中缺乏成熟的技术方案,大多面向物理计算环境。本文首先对现有的技术和问题予以分类介绍,然后根据性能实验结果的分析,提出一种虚拟计算环境下的基于Ceph构建Hadoop分布式计算平台的设计方案,并依据实验中发现的问题,提出针对性的研究课题。
基于目录的Cache一致性协议在片上多处理器(Chip Multiprocessor,CMP)中被广泛采用,监听是该协议中频繁使用的一类事务。过多地监听某个处理器核的私有Cache会干扰该核的正常读写操作,降低其访存带宽,这种现象随着CMP处理器中核数目的增加更加严重,造成各处理器核之间的访存带宽不平衡,影响同步操作的性能,降低处理器的并行性。在设计片上多处理器Cache一致性协议时,通过目录项中
随着各种新技术的发展,企业的关键信息高速增长,更多的数据需要高效的存储,这就需要很多技术的保障,重复数据删除技术现在广泛的应用于存储行业。本文从重复数据删除技术的概念入手,针对其工作原理和应用范围展开论述,详细讨论了数据块切分的一些方法,数据块指纹的生成算法,数据块检索的主要技术等。本文在重复数据删除的主要原理上进行了详细的阐述,为用户更好的了解重复数据删除技术提供了一个参考依据,最后指出了重复数
服务商目前普遍采用的集中式社会网络体系结构存在三个问题:1)数据私密性问题;2)高昂的软硬件成本问题;3)单点失效问题。解决这些问题的方法是分布式社会网络。本文系统地介绍了P2P网络与社会网络的关系,分布式社会网络面临的挑战和研究现状,重点介绍其中的数据隐私保护问题、网络拓扑问题、以及数据分发问题。最后指出未来的研究方向包括新型覆盖网拓扑研究、基于兴趣的社会数据分发以及高效地海量粉丝数据分发。
本文提出一种基于属性的存储安全访问控制方法,该方法采用CP-ABE密码算法,通过明确的属性定义来描述用户、文件和访问权限。其中,用户信息、文件信息和文件操作类型均以属性值集合的形式来表示;文件的访问控制以访问控制字符串的形式表示,访问控制字符串由文件属主制定;属性密钥由客户端负责生成,由认证端负责管理和分发。认证端使用用户属性、文件属性和文件操作类型,通过文件的访问控制字符串判断用户是否具有文件操
分布式存储系统为保证数据可靠性,需要对数据进行冗余存储以抵抗节点失效。同时,在修复失效节点过程中,需要消耗大量网络带宽。再生码能够实现存储开销和修复带宽开销之间的权衡最优。根据目前分布式存储系统中带宽资源较计算资源相对紧张的现状,基于矩阵积构造的精确修复最小带宽再生码除了能提供系统码特性之外,同时构造参数之间没有约束限制,具有广阔的应用前景。然而,基于此编码方案所设计的分布式存储系统的性能开销并没
针对高动态环境中节点频繁动态加入和退出问题,提出了一种将长期在线的节点构建为核心P2P网络的分层P2P存储系统拓扑设计。由于IP地址占用和兴趣主机分布呈现聚簇现象,P2P存储系统拓扑也应具有类似的聚簇现象,因此本文采用基于超级节点的层次化P2P结构充分利用这一特点。其中超级节点构成整个P2P存储系统拓扑的核心P2P网络,普通节点通过超级节点接入网络,构成普通节点P2P网络。进一步讨论了信息的发布和
随着分布式存储系统规模的不断增大,其面临的可靠性问题日益凸显.RAID等底层的可靠性增强方法已无法满足分布式存储系统的需求,而文件系统内部实现的可靠性增强机制又不具备通用性,无法适用于综合使用多种文件系统的存储系统.本文设计并实现了一种堆叠式文件系统,提出了一种基于多副本机制提高存储系统可靠性的通用方法.本文以Lustre文件系统为例,探讨了该方法在分布式存储系统中的应用,研究了一致性语义,副本数
大型分布式信息处理系统往往需要集成不同架构、不同软硬件环境的系统和在用的旧系统,如何根据用户权限对异构存储数据进行访问并形成统一视图是一个难题。本文从大型信息处理系统数据统一视图的现实需求出发,提出了一种分布式用户权限控制和数据访问机制。通过设计数据适配器,对数据访问请求进行适配,对异构数据统一映射转换,将映射转换后的数据结果集进行合并处理,实现了分布式多源异构数据的统一视图。