IStore:一种多策略的去中心化对象存储系统

来源 :浙江工商大学 | 被引量 : 0次 | 上传用户:zxg668888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据存储是各种应用的基础。随着数据量的增长和用户对存储的扩展性、安全性、可用性、可持续性等需求的提高,传统的存储技术已无法满足这些要求。近年来分布式存储技术将数据分布在整个网络上,可以消除单节点故障,提高了数据访问的带宽,受到了越来越多的重视,GFS、TFS、Swift、Ceph等分布式系统也在实践中被广泛应用。分布式存储系统主要的难点在于如何在不可靠的分布式网络中保持元数据、数据的一致性。如Ceph使用元数据服务器和存储服务器分离的方案,应用Paxos算法来实现一致性,这些方案对存储服务器的状态监测、维持提出了较高的要求。针对此问题,本文提出一种多策略的去中心化对象存储系统,其主要思想是应用分布式哈希表(DHT)技术构造一个基本的内容寻址的对象存储系统,该基本存储系统实现对授权用户的数据(对象)的存储、提取和删除等基本服务。在此基础上,用户可根据不同需要,选择多种存储策略来实现不同服务质量要求(QoS)的存储,如为了可靠性和高性能,可采用多副本存储策略,如为了安全性,可采用分块存储策略。这种方法的好处在于存储节点简单,只需要实现P2P网络和对象存储的基本功能,而可靠性、安全性以及数据的同步由使用者维护。本文的主要内容包括:(1)本文提出了一种基于P2P网络的分布式对象存储系统模型,系统的实现原理是分布式哈希表chord,节点与节点互联成P2P网络,提供路由查找的功能,节点提供对象存储,在节点里存放着一个个对象。(2)提出基于P2P网络的多种存储策略,在客户端页面设置存储策略选项,用户上传文件时,根据需要进行选择。存储策略有不分块无副本、三副本存储策略、二等分存储策略、二等分二副本策略、纠删码存储策略,用户选择相应的选项,系统选择对应的策略存储文件。这种设计不仅提高文件的可靠性和安全性,而且降低系统的复杂度。在不分块无副本基础之上,其他策略都应用了并行传输,多副本同时传输和文件块同时传输,有效提升了系统的性能。(3)最后设计了系统的原型,原型具有文件管理模块,用户管理模块,网络管理模块,节点管理模块。系统具有文件上传,文件下载,文件删除功能。对系统进行测试,测试系统性能,测算出不同策略的上传下载的时间,文件分块的传输速度比不分块快,文件副本的传输速度比无副本速度慢。系统可靠性测试,测算出不同策略的文件查找成功率,文件分块的成功率比不分块低,文件副本比无副本成功率高。
其他文献
无线自组织(Ad-Hoc)网络在无专用通信基础设施的场景下,网络具有动态适应性和生存能力,因此,在未来移动通信网络中起到重要作用。但是,由于其分布式、能源有限等特点,无线Ad-
近十年来,随着无线通信的飞速发展,对频谱资源的需求也急速增加,从而导致本来就匮乏的频谱资源变得更加日益紧张,这一问题成为阻碍无线通信技术发展的最大因素。在当前采用统
在人类产生语音时,情感的表达这一重要过程中,人类大脑中涉及情感语音生成和情感语音理解区域的控制机理和相关功能是非常复杂的,在这之中包括了许多复杂的神经处理过程,而建
提高涡轮前温度是进一步提升航空发动机性能的关键因素,受限于材料的耐温极限,发展先进的涡轮叶片冷却技术显得尤为迫切。本文立足于此,面向涡轮叶片内部冷却技术,通过实验和
植物油脂经加氢脱氧制取可再生的柴油类烃获得了广泛关注,其中催化剂是实现高效加氢脱氧的关键。金属Ni基催化剂活性高、成本低廉,但同时存在C-C键氢解和甲烷化活性高导致碳收率低、耗氢量低等问题。本文通过引入金属Ga调变Ni的几何和电子结构,抑制了金属Ni的C-C键氢解和甲烷化活性,提高了C收率。为了解决通常加氢脱氧时外部供氢存在的制氢流程长、生产操作不安全等问题,探索了以甲醇为供氢剂时Ni-Ga双金属
水下传感器网络由固定在海底或者悬浮在水中的传感器节点组成,节点之间相互通信并构成一个自组织网络。节点上搭载有专门的传感器,负责监测收集某一片海域的温度、深度以及其
磁感应游离磨粒线锯切割技术是一种新型的且很有前途的硅片切割技术,具有切割范围广、切割效率高、能源消耗少、易控制等优点,因此,磁感应游离磨粒线锯切割技术的不断发展,将
近年来基于异构众核架构的高性能计算机系统取得了巨大的成功,与硬件技术不断高速发展相比,高性能应用软件的研发受异构编程模型和并行运行效率的限制,发展相对滞后。作为电
本文为一交替传译实践报告,以笔者在河南大学担任的口译工作为报告对象。全文主要分为两部分。第一部分是兰斯·斯特拉特教授所作的媒介生态学讲座原文及口译文本,译文部分约
随着经济的发展,中国中小企业的发展遇到了瓶颈,主要原因是融资渠道过于狭窄,大多数中小企业还是以银行的贷款为主要的融资手段。然而在海外资本市场上,私募股权已经成为中小