基于用户级高速IO技术的Memcached优化研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:mazipeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
内存对象缓存系统在通信方面受制于传统以太网的低效率,在存储方面受限于服务器节点的内存容量,亟需融合新一代高性能IO技术提升性能。本文对以Memcached为代表的内存对象缓存系统的通信性能优化和存储扩展问题进行了深入的研究,设计并实现了基于RDMA和用户级SSD访问的高性能内存对象缓存系统U2Cache。  本文的主要工作和贡献为:  1.提出了一种基于RDMA的Memcached通信加速方法。本文采用高性能的RDMA通信替代Socket通信,并根据操作类型和消息大小的不同分别设计通信策略,以进一步降低整体延迟。在传输小消息时,采用有拷贝的RDMA通信方法,以减少RDMA通信次数;在传输大消息时,采用内存拷贝与RDMA通信并行流水的方法,隐藏Java客户端数据拷贝的延迟。另外,在需要传输大消息的写缓存操作中,采用RME(Rendezvous Mixed with Eager)通信协议,隐藏握手延迟。  2.设计了一种基于用户级SSD访问的Memcached存储扩展机制。针对Memcached服务器受节点内存容量限制的问题,本文采取在Memcached服务器内部集成SSD的方法扩展存储空间,并通过实现用户级SSD访问降低SSD访问延迟。当Memcached服务器要发送位于SSD数据区的较长数据时,本文通过SSD读操作和RDMA通信的并行流水,隐藏RDMA通信的延迟。  3.设计并实现了一个基于RDMA和用户级SSD访问的缓存系统U2Cache。U2Cache服务器与客户端的通信采用本文提出的基于RDMA的通信加速方法,服务器内部采用用户级SSD访问以扩展存储空间。在服务器仅访问内存数据区时,相比采用未流水化的RDMA通信方法,优化后读缓存操作的延迟降低了13%~26%,写缓存操作的延迟降低了7%~28%。在服务器需要访问SSD数据区时,相比采用内核NVMe驱动,优化后读缓存操作的延迟降低了7%~31%。
其他文献
空间离群点检测就是为了从空间异常对象、异常模式中挖掘出潜在的有用信息。空间离群点检测是空间数据挖掘技术的一个重要分支,在交通、生态、气象、公共健康、公共安全等领
心电信号是临床医学中重要的生物信号之一,心电图的准确自动分析与诊断对于治疗心血管疾病起着关键的作用,也是国内外学者所热衷的课题。本文首先描述了心电信号分类的研究状
线型光纤感温火灾探测报警系统是近年来发展起来的新型火灾探测报警系统.在系统中光纤既作为信息传感的功能元件,又作为传送信息的传输通道.该系统综合了时光域反射技术,激光
随着电子计算机的出现与飞速发展,函数建模越来越受到人们的重视,函数建模在现实世界中具有重要意义。所谓函数建模,就是将实际应用题的变量关系用函数关系表示出来,再利用函
权限问题对于系统的安全性来说是重中之重,如果能够绕过用户的允许以及系统的保护而直接获得管理员权限,那就相当于破解了系统的限制,取得了系统的控制权。所以对于一个系统的安
随着流媒体信息处理技术的迅猛发展,流媒体视频业务正在呈现普适化的趋势,用户对在线视频的应用需求也不断增加。由于传统视频传输系统需要巨大的存储空间和带宽资源,长期以来视
近年来,随着网络技术的不断发展,网络覆盖程度大大的增加,人们对网络接入的需求也越来越多。网关作为网络接入的核心设备,在其中扮演了重要的角色,网关工作正常与否直接影响
随着世界各国不断加大对太空资源的争夺,我国制定的航天事业“三步走”战略也在积极推进,航天测控计算机系统作为航天地面系统的重要部分,在航天测控领域发挥着重要的作用,其系统
物联网技术在全球范围内的快速发展引起了极大的关注。受限应用协议CoAP是由IETF借鉴互联网中的REST架构思想,结合物联网的特点而提出来的网络传输协议。自从CoRE[作组提出Co
本课题是从上海产权交易所网络报价系统的开发过程中引申而来的。网络报价系统需要传输的数据量大,传输的实时性要求高,安全性要求强。综合这些特点,传统的通信协议很难满足