基于分布式块存储系统的服务质量研究与优化

来源 :第 23 届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:chanstan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  云存储系统采用虚拟化技术将分布于不同地域的计算机资源进行集中管理和分配,通过资源复用的方式,有效地提高资源利用率,也降低了软硬件维护代价.然而,资源复用导致了应用之间的相互干扰和竞争.遗憾的是,现有的分布式块存储系统对服务质量的控制与支持严重不足,特别是在资源需求量超出存储系统能力时,无法提供令人满意的服务质量,迫切地需要提出一种满足高效、稳定的存储服务质量解决方案.存储服务质量应从两个维度进行支持:(1)解决前后端任务的资源平衡问题.由于系统资源是有限的,如果不对任务的执行加以控制,会造成前后端任务之间对资源的无序竞争.因此,对前端任务和后端任务的执行进行合理的调度,是解决该问题的关键.(2)解决前端任务间的资源平衡问题.前端任务既然被调度执行,那么其相互的资源竞争必须以一种公平的方式对待,特别是对性能影响显著的缓存资源,而现有的缓存替换算法太过陈旧.因此,对前端任务之间热数据的精确识别是解决该问题的关键.本文设计并实现了中兴分布式块存储系统ZTE-DBSS.其主要组成部分包括:MDS主要用于集群配置和元数据管理;ZK用于实现分布式数据的强一致更新;CSD主要负责实际的数据存储;CLI实现内核态客户端,提供块存储的访问接口;OMM为操作维护平台,用于集群管理.在ZTE-DBSS系统上线之初,对存储服务质量支持较弱,在前后端任务的资源平衡问题上采取的技术方案是静态限速技术,在前端任务间的资源平衡问题上采取的技术方案是二级链表技术,存储服务质量难以符合用户的预期,有较大的提升空间.针对前后端任务的资源平衡问题,本文提出一种自适应的任务调度技术,包括基于逻辑阀的任务开关机制和基于令牌桶的速率控制机制.在分布式块存储系统执行后端任务时,会根据系统的前端任务负载轻重来动态调整后端任务开关和速率,能够实现在保证前端任务执行的前提下,后端任务亦能够快速完成.针对前端任务间的资源平衡问题,本文提出一种多级热度的缓存替换技术,综合考虑数据近期的访问时间和历史的访问频率,采用可量化的计算方式对数据的热度进行评价.其优势在于:热度判断的主体全面、热度判断准确率高、充分发挥了硬件性能,从而以一种公平的方式对待前端任务对缓存资源的竞争.最终,将本文提出的两项关键技术在ZTE-DBSS系统中进行了工程实现和商用测试.测试结果表明:与优化前的静态限速技术相比,自适应的任务调度技术在4KB随机写时,IOPS提升38%,延迟降低39%,达到了优先满足前端任务的目标.与优化前的ARC算法相比,多级热度的缓存替换技术在4KB随机读写时IOPS分别提升68%、69%,在1MB随机读写时吞吐量分别提升77%、83%.在真实的云计算应用场景中,相较于优化前,ZTE-DBSS系统的存储服务效率平均提升77.81%,存储服务稳定性平均提升57.33%.ZTE-DBSS满足了用户对分布式块存储服务质量的期望,满足了对云计算产品的核心期望.
其他文献
随着云计算和移动互联网的发展,前端的设备提供服务入口,而大量的数据存储和处理任务需要在后台的数据中心完成,数据中心成为云计算时代最重要的基础设施。与之相对应的是,企业级数据中心的规模越来越大,数据中心的自动化运营和维护所面临的挑战也越来越大。除了软、硬件故障以外,服务器的磁盘使用过高是数据中心运维中最常见的问题之一,且经常发生于系统负载最高的时候,严重伤害用户体验。通常对于服务器的运行情况等信息有
图作为一种重要的数据结构,广泛应用于社会各个领域,如最优运输路线、科技文献引用关系、数据挖掘、蛋白质分解、语义网分析等应用问题.随着人类社会信息化程度的提高,伴随这些领域产生的图数据量也在以爆炸式的速度增长.来自各类应用的图数据规模与日俱增,常规计算机难以一次性将数据全部从外存载入内存进行处理,只能在处理过程中对存储在低速、大容量外存中的数据进行多次访问,由此造成图数据频繁地在高速和低速存储设备上
随着当今的社交网络的快速发展,越来越多的图像被上传到云端.这些图像种类丰富多样,并且往往存在大量相似以及冗余.相似图像每时每刻都在产生,如连拍、游客在同一个景点拍摄的照片、不同人对同一物体或场景所拍摄的照片等.然而目前的图像编码算法如JPEG、JPEG 2000、JPEG XR等均只考虑图像像素间或者区块之间的相似性,忽视了图像之间内容上的冗余.与此同时,硬件的发展速度难以满足人们日益增长的存储需
二十一世纪以来,随着信息全球化的发展和电子商务、社交网络等新兴网络应用的普及,各领域都出现了数据爆炸的现象.KPCB的报告显示,目前全球网民总数已达24亿,Facebook每天处理25亿条内容,超过500TB数据,而twitter每天产生2亿条信息.在国内,2013年中国产生的数据总量超过0.8ZB,是2012年的两倍,相当于2009年全球的数据总量.数据的爆炸式增长使得分布式文件系统逐渐代替本地
近年来随着云计算、大数据技术的飞速发展,人们对数据存储能力、计算能力的需求呈现爆炸式增长,依靠传统的存储系统已经完全不能满足要求.高效的存储和计算能力成为当下面临的挑战.因此大量的分布式存储系统应运而生逐渐成为主流的存储和计算平台,如:GFS、MooseFS、Ceph、GlusterFS等等,分布式存储系统在数据分布均衡和系统容错方面的发展已经相对成熟,然而存储和计算之间的性能差距不断的扩大,在面
Spark是类似于MapReduce的通用并行计算框架,它拥有MapReduce的所有优点.不同的是Spark将中间结果缓存到内存,减少了磁盘的读写次数,正因如此,Spark能更高效地支持迭代运算.虽然Spark的缓存策略提升了系统性能,但缓存中间数据会占用更多的内存空间,在内存受限时,这会造成数据在磁盘与内存之间大量的换入换出,反而降低系统性能.我们发现Spark缓存的中间数据通常存在很大的相似
随着智能设备以及社交网络的发展,移动设备(如智能手机、平板电脑等)已经成为了存储数据的一种重要方式。因此为了扩展移动设备的有限存储能力、以及保证数据的可靠性,基于远端存储介质的移动设备数据备份系统开始大量出现。通过分析当前的存储系统架构,我们发现当前的移动设备用户通常具有多种不同的远端存储备份服务选择,如邮箱、云盘等等,然而,由于移动设备面临着多变的网络环境,同时存储服务提供商之间的服务具备一定的
近年来,大量的智能手机、嵌入式设备、传感器节点等设备产生了海量的数据,相比于传统的数据处理方法,基于深度学习的卷积神经网络可以更加智能地分析和处理这些数据。然而,卷积神经网络在计算和存储方面都是十分密集的,这使得他们很难被部署到资源受限的系统中,从而也限制了它们的广泛应用。本文基于卷积神经网络的特点,首先对原始卷积神经网络进行裁剪,剪去不重要的连接,从而将密集的卷积神经网络模型转换成稀疏模型,在这
Correspondence between images is a fundamental problem in computer vision,with a variety of graphical applications.
会议
We propose the first deep learning approach for exemplar-based colorization.
会议