多核环境下分布式缓存并发访问处理研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:kanhyou2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网应用的飞速发展,分布式缓存作为服务器端缓解数据库访问压力的关键组件,越来越起着不可替代的作用。然而随着多核处理器的广泛使用,传统的分布式缓存在多核环境下面临大量用户并发访问时存在多线程锁竞争、缓存一致性开销、高并发连接处理等问题,这些问题严重制约了分布式缓存在多核环境下的扩展性,导致多核的并行计算能力不能充分地发挥出来。多核环境下分布式缓存系统SKVM旨在消除分布式缓存在多核环境下面临大量用户并发访问时存在的问题,提高分布式缓存的并发访问性能,进而实现分布式缓存在多核环境下的性能扩展。SKVM将高并发访问处理分为两个阶段:高并发连接处理和高并发数据处理,针对高并发连接处理,采用epoll异步非阻塞机制提高网络I/O的效率,消除网络瓶颈;针对高并发数据处理,采用共享资源分布式计算的思想,将共享哈希表按照核心数目划分成多个划分,每个划分都有专门的服务线程负责其上所有操作,服务线程访问各自的划分时不用任何同步操作也不会涉及到其它服务线程,从而消除了锁竞争,减少了缓存一致性开销。采用一致性哈希算法作为数据分布策略,提高了系统的可用性和负载均衡能力,同时系统整体采用半同步半异步模式工作,既保证了并发连接处理的实时性,又实现了并发数据处理的高效性。与广泛使用的分布式缓存Memcached进行性能对比测试的结果表明,SKVM每次请求比Memcached经历更少的缓存未命中,并且SKVM的吞吐量要优于Memcached,同时,在多核环境下,Memcached的吞吐量随着并发线程数量的增多而下降,而SKVM的吞吐量则可以随着并发线程数量的增多而提升,实现了在多核环境下的性能扩展。
其他文献
近年来,大量的数据库被用于商业管理,客户信息和数据的积累越来越多,激增的数据背后隐藏着许多重要的信息,企业希望能够对这些客户信息进行更高层次的分析,以便更好地利用这些数据
网格技术是近几年研究较为热门的一项技术,网格技术利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级计算机,未来互联网的发展方向是将网络中众多闲置的计算资源
凸壳问题是计算几何中最重要、最基本,也是得到大量深入研究,并有广泛应用的问题之一。其应用领域包括统计学等。它是在20世纪提出的,70年代以来,二维凸壳所具有的问题复杂性与应
随着Internet的迅猛发展,Web上可获得的Web服务急剧增多,如何从庞大的服务群中有效地获得所需功能的Web服务和如何在功能相似的Web服务中找到最佳服务成为了值得关心的问题,这些
在当今移动互联网时代,Android智能设备融入到人们生活的方方面面并且被人们重度依赖。大量的个人隐私数据,如联系人、通话记录、短信、照片等保存在其中,人们非常关切个人隐
本文介绍了XML语法的主要特点以及DTD、Schema的使用;阐明了XML数据在数据库中的存储方式;重点从三个角度讲述了XML在关系数据库中的存储方法:独立于模式的XML数据在关系数据库
网格计算作为下一代互联网技术成为当前国内外研究的热点。资源管理与调度算法是网格计算中的两个核心问题。本文以现有主流的网格中间件Globus为基础平台,以校园计算网格为
随着存储需求的增加及存储应用日益复杂,对象存储接口将逐步取代以块和文件为访问单元的存储接口,成为将来存储系统发展的主要趋势。利用光纤通道协议传输对象存储设备的命令
图形质量和绘制速度是三维实时绘制技术的主要矛盾。三维实时绘制的场景常常包含数百万甚至上千万的三角形,而且其几何模型还有越来越复杂的趋势。传统图形流水线完全依赖CPU
创建逼真的三维人脸模型以及人脸动画是计算机图形学领域一个极富有挑战性的课题。随着影视特技、电子游戏、可视电话、虚拟会议等应用的发展,这一领域越来越受到人们的重视