纠删码集群存储的数据访问优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:benben1906
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着信息化的高速发展,数据量呈爆炸式增长,分布式存储方式被广泛应用,同时数据可用性也得到了极大的重视。在此情况下,作为一种重要的冗余机制,纠删码被广泛应用于分布式存储系统以获得高可用性。但是,纠删码在读、写和失效恢复方面的代价较高,因此,为纠删码系统设计新的读、写和重构方案以提高系统性能具有重要的研究意义和应用前景。在基于纠删码的集群存储环境中,分别针对读、写和重构提出了三种优化方案,分别称之为基于最小负载的大读优化方案、局部式小写更新优化方案和基于重定向的在线重构方案。在基于最小负载的大读优化方案中,首先结合纠删码集群系统的特点,定义了负载衡量基准,根据该基准,将集群系统中高负载节点的读请求转移到其他负载较低的节点上,最后解码出所需的数据,使得在平衡节点负载的同时,降低用户的访问响应时间。在局部式小写更新优化方案(PUS)中,充分利用存储节点的计算能力,将部分更新工作从更新节点转移至存储节点,减少由于更新所带来数据读、写和传输开销,有效缩短更新操作流程,不仅优化用户响应时间,而且减轻更新节点压力。实验结果表明,相比于传统更新方案,PUS能有效降低至少42%的小写更新时间。在基于重定向的在线重构方案(ROW-R)中,按照最小化用户I/O对重构I/O干扰的策略,将面向失效节点的全部写请求和部分读请求重新定位至其他存活节点,从而在物理上将用户工作流与重构工作流在一定程度上分开,通过充分利用磁盘在连续写时的高性能特性,加速重构进程。实验表明,ROW-R能有效优化用户响应时间达52%,并能够加速系统重构速度约6%。
其他文献
XML广泛应用于互联网的数据传输,在很多跨平台的应用系统中,也将它作为数据交换与存储的标准。它以自描述性和可拓展性等优越的特点正逐步成为数据交换与存储的重要标准。为了
学位
企业自备铁路是主干铁路系统的延伸,也是企业与外界物资流通的主要通道。相对于国家主干铁路系统,企业自备铁路具有站场资源分布密集,作业范围小,机车运行周期短等自身特点。企业
网络已经成为人们工作、学习、生活中必不可少的元素之一。近年来,随着网络技术的蓬勃发展,诞生了很多不同特点、不同类型的网络,其中局域网、无线网传感器网络、自组网、个域网
随着计算机和网络技术的迅速发展,网络数据安全形势日益严峻,如何在开放的网络上安全地传输数据,已经成为网络通信领域中面临的一个重点课题。本文基于winsock2SPI和数据链路层
人体传感器网络由于采用了无线的传输方式、对数据的获取方便、节点体积小、成本低、便于携带等优点,在医疗监护、生物医学、体育训练、动作识别等领域具有很广泛的应用前景。
智能交通系统在国内外得到迅速发展,其主要是处理陆地车辆的信息。目前,没有一个综合性的服务平台,将各种出行信息集成在一起。用户获取想要的出行信息,就要访问不同的网站,这样会
随着并行计算机的迅猛发展,越来越多的领域迫切需要提高大规模问题求解的速度,串行程序并行化能够缩短问题求解时间,为了实现快速并行化,本文进行串行程序自动并行化软件的设
近年来,移动通信、定位技术和物联网迅猛发展,在给我们生活带来便利的同时,也产生了规模庞大的时空轨迹数据。这为时空轨迹数据的研究和应用创造了有利条件。但时空轨迹数据在急
随着网络信息资源的急速增长,用户快速且准确地获取所需信息变得十分困难。搜索引擎的出现解决了用户一部分查询的困难,但是目前该工具实现不了根据用户的需求进行推荐的功能