基于对象存储Swift的带宽资源优化的研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:wuyoucao654321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当前信息技术的发展,数据呈现爆炸式的增长,云计算成为了研究的热点技术。云存储作为云计算的一个重要部分,其技术也越来越成熟,多种形式的云存储应运而生。作为分布式的对象存储,Swift在云存储中具有重要的意义。纠删码应用在大量的分布式存储中,从最初的RS码到EVENODD码和RDP码,再到基于RS码增加局部校验码的LRC码,编码效率和修复过程中数据下载量优化都有了长足的进步。虽然Swift对象存储性能在逐渐完善,但是其集群内出现的系统完整性和用户请求响应的网络资源管理,以及集群单节点故障修复问题的研究仍然具有很大的意义。  本文主要是对Swift集群中如何更有效的利用带宽资源进行分析研究,通过对集群结构和Swift使用的纠删码算法进行分析,从使用基于回归模型的带宽管理和改进故障修复算法进两个方面,对Swift集群中的带宽资源进行优化。具体工作内容包括:  1)通过对 Swift中存在的不同种类工作负载进行分析,包括以用户为中心的工作负载和以系统为中心的工作负载。然后针对这两种负载构建负载与网络带宽之间的关系模型,并通过关系模型实时对网络资源进行预测。当集群内的系统负载和用户请求负载出现资源需要均衡的情况时,通过带宽管理来对Swift端口带宽进行分配调节。使得Swift集群在出现故障时,既能保证集群内数据的完整性,又能够尽可能高效的响应用户请求,从而保证用户体验。  2)针对 Swift集群拓扑环境改变时,回归模型参数改变的情况,使用了自适应回归模型模块。此模块能够在存储集群拓扑结构改变时,自动地修正回归模型参数,从而使得带宽管理能够在集群拓扑结构改变时更有效的利用带宽资源。  3)在 Swift加入纠删码后,当使用纠删码存储策略时,存储编码块或数据块的存储节点无效时,传统的纠删码修复的数据下载量过高,从而导致占用了更多的集群内的网络带宽资源。在本文中通过基于爬山法算法,计算得到修复故障节点时最小或近似最小数据下载量和网络带宽修复代价两种修复方案,使得Swift存储节点出现单节点故障后能够在短时间内找到最优或近似最优的修复方案。  4)对爬山法修复方案与NTar算法进行实验对比,相较于NTar算法,虽然在数据下载量方面爬山法比NTar算法的数据量大,但是爬山法修复方案执行时间短,在一定程度上加快了数据的修复速率,从另一方面来说也是对于带宽资源更有效的利用。  最后,将基于回归模型的带宽管理和基于爬山法的故障修复方案应用在Swift集群中,从实验结果可以看出,上述两种方案能够在一定程度上对带宽资源进行优化。
其他文献
二十世纪初发展起来的量子力学是继相对论之后人们对客观物质世界的本质认识的一大进步。而量子信息学则将信息学和量子力学成功地结合起来。作为量子信息技术的自然拓展,量子
随着现代医学的不断发展,急救医学已成为现代医学的重要学科,急诊抢救是急救医学的重要内容,而急救护理亦成为不可缺少的组成部分.借鉴国外的经验,加强急救专科护士培训是我
跳频通信是现代军事无线通信抗干扰的主要手段,对于在恶劣的电磁环境中保障畅通的通信指挥,具有重大的军事意义。同时跳频通信技术不仅具有优良的抗干扰性能,而且拥有多址组
宗教是对客观世界一种虚幻的反映,要求人信仰上帝、神道、精灵、因果报应等,把希望寄托于所谓的天国和来世,它包括基督教、佛教和伊斯兰教等.世界上信仰宗教的人很多,有的甚
机会通信作为一种对无线通信系统设计具有革命性意义的概念正受到越来越多的关注。一直以来,信道衰落都被视为一种导致不可靠传输的有害因素,然而在机会通信理论中,衰落可以作为
移动GIS是对传统的地理信息系统的补充,可以广泛的应用于各个领域当中。随着移动设备在硬件和软件上的飞速发展,使得移动GIS能够突破原来的瓶颈,让其在移动设备上的运用能够
髋部骨关节病是髋部常见病之一,包括股骨头缺血性坏死、类风湿性关节炎、强直性脊柱炎.全髋关节置换术是改善由病变所致的髋关节功能障碍的主要方法之一,全髋关节置换术可以
随着科学事业的飞速发展,各种学术会议也如雨后春笋般的持续增多。但是各个会议的数据源具有独立性和封闭性,在信息交流和共享方面形成“孤岛效应”。信息化技术的不断发展使各
随着医疗改革的不断深入,城市基础设施不断完善,各地方开设了120急救诊治服务,这不仅方便了广大患者能够得到及时诊治,减轻痛苦,挽回舍命;同时也要求急诊护士具有丰富的急救
盲均衡技术是一种不需要训练序列的自适应均衡技术,仅依据接收信号的统计特性就能对信道特性进行均衡。它是目前数字通信技术研究的热点之一。随着对其研究的不断深入,它已广泛