高可用可扩展集群化Redis设计与实现

被引量 : 0次 | 上传用户:gaorongqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Redis是开源的高性能K-V存储引擎,提供多种数据结构。Redis可以用作缓存,也可以用作存储。开源的原生Redis对集群化支持比较弱,所以基于开源社区开发了分布式框架,对用户提供分布式、稳定、易用的Redis服务,Redis计划在Redis3.0会提供官方的集群化方案,但是至今还是在测试版,并且其集群化方案在跨地域等情况下没有得到充分的验证,不适合生产环境。本文根据对数据量大、高QPS环境下的业务需求分析和单Redis实例进程的性能调研,提出了将Redis通过Proxy代理实现集群化的方案。调研整合其他的基础服务,提出了系统的整体架构,提出Proxy层集群流量的负载均衡方法以及在协议选择、多线程分发模型、Linux下的I/O复用、连接池和资源池以及多线程内存分配方式等方面的性能优化做了重点的研究并提出了解决方案。通过对集群服务质量(QoS)水平需求分析,对集群资源进行建模并实现了集群的资源管理,并通过集群中服务关联关系的管理降低服务之间的耦合。最后使用集群管理平台对服务进行了部署上线和管理,并通过监控平台查看服务的QPS和服务质量水平。在集群化设计的基础上,本文实现了包括Proxy流量分发层、Redis数据库集群和集群管理平台。提供包括服务接入、上线部署、扩容、关联管理、容量管理、服务健康状态监测和故障流量切换等对用户方透明的运维服务,在大数据流量和容量的情况下,用户的感知如同是在使用一个单机无限容量的Redis实例。本文对该集群系统的实现用在了生产环境,测试结果表明该设计方案能够满足高吞吐量、高可用性的需求,并且具有良好的可扩展性,能够实现集群的变化对服务使用者透明,满足了对服务集群化的需求。
其他文献
吐哈温米油田属于低孔、低压、低渗油藏,经过多年高速开采,部分区块处于高含水开发阶段,层内、层间和井间矛盾突出,平面上油井距水驱前缘距离减少,纵向上水淹层与油层交错存
<正> 慢性胃炎属中医胃烷痛,嘈杂,痞证等范畴,为临床常见脾胃病之一。 胃为阳脏,实证居多,萎缩性胃炎初起,一般亦多表现为湿热内蕴之实热证,治疗上多从清热祛湿入手。但如病
期刊
为了开发具有良好动力性和燃油经济性的自动变速器,并且充分利用现有的手动变速器生产设备,采用将手动变速器自动化的方法,是目前自动变速领域内一个热门发展方向。介绍了一
介绍了日本和欧美等国制订的限制汽车排放污染的法规及其发展趋势。为了法规的实施,本文又介绍了在发动机内控制排放污染的各项技术和在机外采用的各种控制排放污染的装置及其
采用浸泡法比较了普通型PA66材料、耐醇解型PA66材料、高耐醇解型PA66材料、PPA材料和PPS材料耐冷却液性能的差异,深入研究了高耐醇解型尼龙材料长时间耐冷却液后拉伸性能、
选择2009年~2013年沪深两市主板A股上市的公司为样本,实证检验在我国会计制度和资本市场环境下,其他综合收益和非经常性损益的价值相关性。研究结果显示:非经常性损益比其他
目的探讨彩色多普勒超声在子宫下段剖宫产切口瘢痕妊娠早期诊断及介入治疗中的应用。方法对本院收治的15例子宫下段剖宫产切口瘢痕妊娠患者进行彩色多普勒超声检查,确诊后行
<正>近年来,当古典音乐在年轻人中曲高和寡之时,一部叫做《交响情人梦》的日剧却异军突起,以幽默风趣的剧情、精致的画面和旋律,将古典音乐的魅力以生动、美好的方式呈现在世
企业并购作为企业资产重组的一种重要形式,是实现企业战略性扩张、优化资源配置、提高市场占有率以及向新的经济领域渗透等协同效应的重要手段。然而作为一种复杂的资本运作
伴随着人工超颖电磁材料的蓬勃发展,人们致力于设计各式各样的电磁隐身装置。光学变换原理为此提供了有效的理论指导,其中最为传统的电磁隐身装置被称为内部电磁隐身装置,它