一种面向键值对存储系统的高效数据迁移机制的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qq462283910
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着移动互联网的发展,键值对存储系统被广泛使用,它适用于大规模的小尺寸对象存储,并能支持高性能高并发的数据密集型应用。集群中每台机器通常存有百亿数量级别的键值对,大部分数据的访问频率随着时间推移由高变低,甚至不再会被访问。因此为了降低存储成本,需要将大量长期未被访问的键值对迁移到采用更低廉存储介质、高压缩率的下级存储集群。针对以上需求,提出面向键值对存储系统的高效数据迁移机制。先对采样周期内所有访问过的键值对进行全量采样,识别出访问过与未被访问过的键值对,再对未被访问过的键值对进行迁移。数据采样过程在系统存取的关键路径上,使用高并发的分块式布隆过滤器(Bloom Filter),通过原子操作与CPU高速缓存预取,保证多线程采样到全局布隆过滤器的高性能;设计周期性变换布隆过滤器哈希函数的算法,在保证时空复杂度不变的情况下降低布隆过滤器误判率的影响;同时使用用户态的读拷贝更新(Read-Copy Update)机制代替全局锁机制来保护全局布隆过滤器,使得多线程采样到布隆过滤器与后台线程持久化及更新布隆过滤器的操作可以完全并发进行。数据迁移过程先利用LevelDB的版本机制实现多进程间的数据库快照备份,再使用多线程来并行遍历数据库快照数据、识别并批量迁移键值对,保证整个流程对用户访问数据的透明;标识被迁移后的键值对,通过版本号机制处理标识键值对操作与用户更新键值对操作的写冲突。使用存储端的异步访问机制代理访问被迁移到下级存储集群的键值对。经过实验测试,设计的迁移机制能正常运行。测试结果表明,在高并发环境下使用分块式布隆过滤器仅增加0.2微秒的延迟,且用户态读拷贝更新机制的读端性能相比全局锁机制能提高两个数量级,表明数据采样不影响系统性能。数据迁移过程中仅增加7.5%的用户访问延时,且批量迁移键值对相比于每次迁移单个键值对至少能提高一倍的吞吐量。
其他文献
目的:探讨低能量体外冲击波治疗阴茎硬结症的临床效果。方法:自2016年10月至2017年10月对32例阴茎硬结症患者应用低能量体外冲击波进行治疗,治疗参数为0.09 mJ/mm2、脉冲频率
1957年Downs博士首先在矫形外科领域中应用了钛。现在已研制成常用的T318合金(即Ti4V6AL,内含钒和铝合金元素)。利用热等静压和冷加工等工艺可以大大提高它的性能并制成高强
在小学数学教学中,教师依靠问题与学生进行互动和教学。合理的问题能更有效地提升数学教学质量,促进学生思维的发展。从一道易错题入手,有针对性、有层次性、有启发性地设计
Z区块是具有代表性的水平井与直井联合开发试验区块,投入开发以来,由于受复杂断层以及初期布井方式的影响,各水平井注采情况较为复杂,生产能力差异较大,部分水平井开发效果变
高压放电等离子体是一种高级氧化技术,产生的紫外光、活性物质等能够将污染物充分地降解成二氧化碳和水。作为一种碳材料,碳纳米管(CNTs)因具有高比表面积、高化学稳定性,从而具有
目的:对急性心肌梗死(AMI)患者行经皮冠状动脉成形术(PCI)冠状动脉再通后低血压的发生情况及其相关因素进行分析,以期探讨急诊PCI术后低血压发生的相关因素。方法回顾2011年1月至20
国家的现代化离不开农业的现代化。现代农业是中国农业发展的方向和趋势。发展现代农业是解决我国当前三农问题、建设社会主义新农村、推进城乡一体化的有效途径和必然选择。
视频监控系统在当今社会中发挥着重要作用,目前已广泛应用到各领域。考虑其在边境防御和边防管控中的特殊作用,结合近年来的工作实践,对地级、县级监控中心,以及监控站视频监
本公司自主研发了25um像元,384x288阵列规模的非制冷红外焦平面探测器。该探测器采用非晶硅微测辐射热计技术,其读出电路(ROIC)采用0.35um的标准CMOS半导体工艺设计及制造,焦
目的调查西安市大学生无偿献血的知识、态度和行为以及相关的影响因素。方法 2011年3~4月,采用自编的调查问卷对西安市5所重点高校的650名大学生进行横断面现场调查。结果西安