面向混合负载的分布式内存存储系统研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:yeyuan1985
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代到来,海量数据存储面临巨大挑战,基于磁盘的存储系统,磁盘I/O已经成为性能瓶颈,解决的方法是利用分布式内存存储系统。从应用的缓存系统到大数据处理的存储平台,数据的长度可能从几字节到上百兆,因此面向混合负载的分布式内存存储系统,既可以加速数据访问,又可以提供数据共享和容灾,具有重要意义。  本文通过研究目前有代表性的几个分布式内存存储系统,借鉴了这些系统的设计思想,并针对混合负载进行优化,最终实现了一个原型系统Memstore。本文的主要贡献有:  1)设计实现了基于内存预分配技术的日志式内存数据存储和管理方式。通过内存预分配技术,降低了内存申请的开销;以日志的形式管理内存,减少对数据长度的限制,支持混合负载存储,并且减少内存碎片;实现了一个基于改进链地址法的内存紧凑hash表,能够快速定位内存日志中的数据,降低延迟;  2)设计实现了基于虚拟桶和pull策略缓存的数据分片和路由机制。通过对key计算hash值分配到不同的虚拟桶,将数据分散到集群中不同节点存储,并且可以有效控制集群伸缩时数据迁移量;集群Coordinator统一管理集群路由信息,客户端本地缓存元数据,利用pull策略同步元数据,降低Coordinator的负载;客户端利用路由信息可以直接请求对应Server,减少网络通信次数,降低延迟;  3)实现了一个面向混合负载的高性能,高可用,支持伸缩的原型系统Memstore。系统分为单机内存存储模块和分布式管理模块,单机模块中设计了高效的内存管理方式和数据持久化机制,保证了性能和可靠性,基于Google Protobuf实现了网络通信协议,保证了系统的可扩展性;分布式模块中实现了数据的多副本机制并针对大块数据做了pipeline优化,基于虚拟桶实现了集群的伸缩机制,基于内存日志的分段技术实现了崩溃恢复,功能全面,性能高效;  大量实验表明,Memstore的各个模块都达到了设计要求,整体性能达到了不错的效果。与Redis相比,单机混合负载读写性能提升了17%-30%,支持高并发;分布式性能提升20%-40%,支持线性扩展和崩溃恢复。
其他文献
论坛帖子和近规范化文本所承载的丰富信息为很多网络应用提供了宝贵的基础数据。同时,基于模板的信息抽取方法具有抽取准确率高、抽取速度快等特点,是业界常用的信息抽取方法。
在分析防火墙和入侵检测系统缺陷的基础上,深入研究了能够弥补防火墙和入侵检测系统缺点的全新的安全技术一一入侵防御系统IPS.设计并实现了基于网络的入侵防御系统.对当前入
随着Internet以及电子商务的发展,人们对信息安全的需要越来越迫切.为了保证互联网上信息传输的机密性、真实性、完整性和不可否认性,防范电子交易及支付过程中的欺诈行为,必
该文的目标在于研究异构生物信息数据源的集成与互操作技术,在综合和参照现有系统的基础上,主要的工作如下:●综述了现有的生物信息源集成方法,指明Mediator-Wrapper是有效的
OpenMP是面向SMP体系结构的并行编程标准,MPI是面向MPP体系结构的并行编程标准.随着主流超级计算机系统由SMP向MPP过渡,OpenMP必然向MPI过渡.但是它们之间差异很大,手工转化
基于块匹配运动估计与补偿的压缩方法是应用最广泛的视频压缩技术,已被各种编码标准采用.基于模型的压缩方法是一种高级的视频压缩技术,能在保证图像质量的前提下,获得极高的
Web Services作为一种基于Internet的分布式组件技术,在动态电子商务环境中体现出越来越重要的作用。本文主要对Web services体系的核心技术和安全规范做详细分析,在这基础上提
随着国家教育事业的发展,计算机网络技术的不断完善,远程教育的方式越来越被人们所接受,为了更好地检测出学习人员的真实水平,各个考点都推出了各自的考试系统。这些考试系统有的
图像分类是一种根据图像的视觉内容将其自动划分到预先定义好的不同语义类别的方法。它是计算机视觉领域中的一项重要任务,是场景识别、目标检测、图像检索、视频检索等视觉任
本论文主要讲述了基于IPSEC协议体系和共享密钥认证机制的VPN系统的实现。该系统是为SED F2003防火墙系统提供一个可选的VPN功能模块,以提高该产品竞争力。本文通过对VPN技术