分布式数据库系统热点负载均衡研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hexin123456789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式集群系统是应对当下大数据处理要求的主流方案之一,实现分布式集群系统的负载均衡性,有利于提高集群系统的稳定性和高效性。对于分布式集群数据库系统HBase在热点场景下的负载均衡机制的不足进行改进,增强Hbase在相关应用中的适应能力具有实际的意义。在分析了分布式系统的负载均衡机制和HBase工作流程的基础上,针对HBase的热点问题,设计了一个分布式数据库系统热点负载均衡机制。该机制在合理甄选负载因子的基础上,通过热点负载均衡排名组合算法和缓存移动等技术实现了对热点问题的负载均衡处理。在选择负载因子的过程中,结合软件、硬件、负载因子的特点、热点需求、实现难易程度等因素考虑,最后选择了CPU使用率、读请求个数、读请求响应时间来作为热点负载均衡机制中的负载因子。热点负载均衡机制中设计的排名组合算法是分别在不同单位级别的节点上将负载因子按照大小排名,计算出不同级别节点上的热点分布。采用缓存移动技术对热点负载均衡算法进行了优化,通过保留部分缓存数据并伴随节点移动到目的节点的方法,提高了节点的启动速度和服务性能。实验中用HBase-0.96.0作为测试环境,通过对比HBase原版负载均衡机制和热点负载均衡机制,表明热点负载均衡机制在应对热点场景方面有明显的优势,能使集群快速恢复负载均衡,有更大的吞吐量。
其他文献
随着信息化水平的不断提高,企业为了保持业务正常运转,必须保证信息系统的可用性。数据实时同步系统采用数据库层面的数据实时同步技术可以有效的保证企业信息系统的连续运行
进入二十一世纪之后,移动互联网和全球定位技术得到了迅速发展,越来越多的文本信息被附上了空间地理位置标签,这种含有空间地理位置信息的文本被称为空间文本对象。有时用户
该文对当前办公自动化系统的现状进行了分析,并结合现代企业在信息化过程中所遇到的具体问题和需求,经过详细分析并设计了该办公自动化系统.论文讲解了该办公自动化系统的整
Internet是上一世纪七十年代以文本数据传输为主的应用背景下诞生的网络,因此对正确性要求高,对实时性要求低。但随着多媒体网络应用数据流在Internet中的增加,使得Internet的“
随着地理信息系统(Geographic Information System,GIS)应用的深入和需求的扩大,在不同分辨率、不同空间尺度上对地理对象进行分析、计算和表达,已成为GIS研究领域内的热点和前
B方法是一种用于描述、设计计算机软件的严格方法,其作用一直延伸到代码生成。它用伪程序语言来描述需求模型,进行软件设计和实现。B方法建立在Zermelo-Frankel集合理论的基
当前Internet广泛使用的网络协议是IPv4协议。随着Internet的飞速发展,网络的规模急剧膨胀,使得地址资源日益稀缺,路由表迅速膨胀,这些问题使得目前的IPv4协议已越来越不能适应In
随着信息化的深入,目前一个企业内部多种Web应用系统并存的情况十分普遍,而它们大多分散开发且具有独立的用户认证授权机制。企业员工拥有多套用户名和口令,当访问这些应用时需
互联网上的信息每天都以指数量级的速度爆炸性增长,面对如此浩瀚的资源,搜索引擎为所有网上冲浪的用户提供了一个入口,毫不夸张的说,所有的用户都可以从搜索引擎出发到达自己想去
椭圆曲线密码系统(ECC)建立在椭圆曲线群上离散对数(ECDLP)的难解性这一数学难题。与其他公钥密码系统相比,椭圆曲线密码系统除了安全性高外,还具有计算负载小,密钥尺寸短,占