原生redis集群的优化与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:fdc1027267648
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Redis服务器是目前应用十分广泛的键值对数据库,其具有丰富的数据结构、事务功能、持久化功能和订阅发布机制,已经逐渐取代Memcache成为首选缓存服务器。但是随着移动互联网的发展,数据量的膨胀使得网络中的服务器负载越来越大,同时广大互联网用户对服务响应速度的要求不断增加。单实例Redis服务器显然不能达到生产要求,需使用Redis集群提供服务。而现有Redis集群方案多种多样,随着官方提供的原生Redis集群方案在生产环境中被广泛使用,也暴露了一些不足。主要有以下三点不足:高客户端复杂度、没有考虑CPU的亲和性以及不提供内存负载均衡。  通过研究现在市面上流行的几种Redis集群策略,分析了几种策略的优缺点。并着重对原生Redis集群方案(官方集群方案)的原理进行了深入研究,针对上述三点不足,提出了对原生Redis集群的集群节点代理转发客户端请求、部署时实现Redis实例与CPU核的绑定和提供内存负载均衡控制节点的三种优化方案。  由于Redis是一款开源的服务器程序,通过修改服务器源码和编写脚本对提出的三个优化建议进行了实现。通过增加请求转发、接收模块和代理客户端实现了请求在集群内部的转发功能;通过部署脚本实现了Redis实例和CPU核的绑定;通过增加负载均衡控制节点实现了集群中各物理机器的内存使用率的均衡,并使用备用服务器和心跳机制实现了负载均衡服务器的高可用性。最后,通过在实验室环境下部署和测试优化后的集群,验证了在每次连接上的请求数据量在中小规模时,优化后的集群有显著的性能优势,同时,验证了内存负载控制节点起到预期效果。
其他文献
云计算是当前信息技术发展的一个重要趋势,它通过远程资源访问使得中小型企业和个人用户能够以相对便宜的价格和便捷的方式获得计算和存储资源。目前云计算已经获得很多大公司
随着互联网和通信行业的快速发展,微博、微信、QQ、MSN、BBS等新兴媒体的流行使得人与人之间的沟通变得前所未有的方便。如今,微博已经成为人们发表意见和交流情感的主要平台。
森林被视为最重要且不可或缺的资源之一,森林火灾的预防和检测,已成为全世界森林防火部门研究的热点。传统的森林火灾检测实时性和监测精度不足,因此我们引入森林火灾无线传感器
随着信息技术的迅速发展,图像数据的种类和数量不断增加。如何从大规模的图像集中检索出所需要的图像成为急需解决的问题。伴随着云计算的兴起,产生了很多分布式的编程模式,从而
2013年1月,中国互联网络信息中心发布了《第31次中国互联网络发展状况统计报告》,其数据显示当前互联网的信息量以惊人的速度持续增长。在这些海量数据当中,80%以上的信息是以非
网络优化已经成为提高移动通信质量,增强用户感知的重要途径。话务故障诊断是改善移动通信性能的重要手段之一,随着移动话务故障数据海量式增长,传统的故障诊断方法已很难满足话
2008年以来,我国先后发生了雨雪灾害、汶川大地震、舟曲泥石流等大型自然灾害,同时举办了北京奥运会和上海世界博览会等世界性大事件,这些突发灾难和重大事件使应急通信成为人们
在网络安全技术领域,虚拟专用网(Virtual Private Network,VPN)技术,特别是以多协议标签交换(Multi-Protocol Label Switching,MPLS)技术作为数据层和以外部网关协议(Border Gate
不确定性广泛存在于主观和客观世界中,模糊性和随机性是其中最重要的两种不确定性形式,对不确定性问题的研究是当前人工智能、计算机视觉、模式识别等领域的研究热点和重大前沿
数据仓库是近年来一项发展非常迅速的数据存储管理技术,它以其高度的数据集成性和良好的数据处理能力等特点,受到了广泛的关注和众多企业的青睐。数据仓库从问世以来,极大地