基于固态盘的分布式块存储系统缓存技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:bbq2004_83
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云计算和大数据的推动之下,分布式块存储系统越来越重要,现有的分布式块存储系统有Petal、Sheepdog、Parallax、BLAST、DHTbd等。针对分布式环境的特点,为提升分布式块存储系统的性能,以提供更好的服务,研究一种以固态盘为基础的全局共享式动态缓存(Global Shared Dynamic Cache,GSDC)技术,该技术主要采用固态盘作为存储介质来保存缓存数据。GSDC技术采用多个缓存节点,每个缓存节点都保存一定量的热数据。所有缓存节点组成一个缓存层被原有系统的所有数据节点所共享。为高效管理众多的缓存节点,采用一致性哈希方式将缓存节点分散成多个虚拟缓存节点,缓存数据以相同的方式通过计算之后,按指定规则存储在不同的缓存节点上。缓存数据被划分到指定的缓存节点之后,采用一种动态算法进行管理。针对分布式块存储系统的特点,将缓存数据根据指定属性分成多个不同的数据集,每个数据集由一个队列进行管理,该动态算法基于每个数据集的实时访问情况,动态的调整每个队列的可用空间大小。为得到较好的性能表现,为每一个队列设定一个淘汰上限和一个淘汰下限,二者也根据访问情况动态变化。缓存使用空间超过阈值时,优先选择淘汰负载较轻的数据集,但要同时考虑对应队列长度是否超过淘汰上限。为加快数据淘汰时的速度,在系统相对空闲时将缓存中的脏数据同步到数据节点。同时,利用数据节点冗余空间,加入写日志备份功能,保证系统原有的数据可靠性。系统原型基于开源分布式块存储系统Sheepdog实现,经测试发现,相对于未采用缓存的原系统,该技术为不同数据集的访问提供了20%~270%不等的性能提升。
其他文献
Internet技术的发展和普及使信息获取和发布的方式发生了巨大的飞跃和本质性的变化。目前,以电子商务、电子图书馆、远程教育等为Web的主要应用,促使Web以更快的速度发展,在给人
光盘库是由机械手与多个光盘驱动器组成的用来存放多张光盘的机柜,它具有成本低廉、易于长期保存数据等特点,因此常被用作大型数据备份、数据存档系统。由于计算机运算能力和
本文介绍了P2P网络的模型和工作原理。要想充分的利用P2P网络中的各种资源,首先要能够有效的发现资源,即搜索到这些资源。由于P2P网络的动态性以及可扩展性,设计一个好的P2P搜索
随着移动互联网的兴起,用户的位置信息在各种移动服务中扮演着越来越重要的角色。除了基于用户当前的位置提供服务以外,预测用户将要到达的下一个位置也能够有助于开发出很多
随着大数据时代的来临,云存储在面对海量的数据处理与挖掘中起到了关键的作用,传统的云存储系统为了保证数据可用性采用完全副本或者纠删码来加入数据冗余,这两种数据冗余方
信息技术的飞速发展,引起自动化系统结构的变革,逐步形成以网络集成自动化系统为基础的企业信息系统。当大量现场信息由智能仪表直接进入监控计算机或通过现场总线传至监控计算
随着城市轨道交通的快速发展,自动售检票系统的作用变得越来越重要。闸机是城市轨道交通自动售检票系统中的关键设备之一,它利用其内部的智能识别系统对通过闸机通道环境的运
现代社会飞速发展,科技日新月异,终身学习成为世界教育改革和发展的共同需求和趋势,而网络教学平台是承载和实施终身学习的新一代平台。从最初的客户/服务器模式网络教学平台
WEB服务发现是WEB服务研究领域的热点问题之一,是WEB服务体系的重要组成部分。然而,当前主流的WEB服务发现方法是基于UDDI框架的服务匹配,由于UDDI注册中心仅能提供基于关键字的
随着嵌入式系统软硬件技术的深入发展,为了更好的适应更加复杂的应用开发,在嵌入式系统中普遍引入了嵌入式操作系统,嵌入式操作系统的引入又反过来有力地促进了各种应用的开