基于数据热点和分片性能差异的MongoDB自适应负载均衡策略研究

来源 :浙江师范大学 | 被引量 : 0次 | 上传用户:davidchen19
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,接入到网络中的设备呈指数级增长,互联网由此产生了海量的数据。传统的集中式存储方案在存储性能和可靠性等方面已经满足不了人们日益增长的需求,大数据的存储已经成为了当今时代的一项巨大挑战。应时势需求,各种分布式数据库便如雨后春笋般涌现出来。其中,目前使用最广泛、性能最优越的当属NoSQL数据库。MongoDB作为一种新兴的NoSQL数据库,以其水平扩展、面向文档、模式灵活、故障自动转移等优良特点深受国内外市场的欢迎。MongoDB支持自动分片,其内部自带的负载均衡策略能使各个节点达到基于数据量的平衡。但是在实际的生产环境中,在数据块(Chunk)数量相当的情况下,节点间的性能差异和数据访问热度的不同会导致集群中某些节点处于超载的现象。针对上述问题,本文做了以下工作来对MongoDB负载均衡策略进行优化,旨在提高系统的性能,保证用户体验的流畅性。本文的主要贡献如下:(1)根据其负载均衡策略的不足提出一种新的架构。主要包含访问控制模块、资源管理模块、负载预测模块和数据迁移模块。访问控制模块就是用来控制客户端对系统的访问。资源管理模块对系统的中各个分片的负载进行初步预测,并以此来自适应调整负载预测的周期。负载预测模块对各个分片和Chunk块的负载进行预测。数据迁移模块主要用来控制数据的迁移工作。(2)在负载预测模块中引入马尔科夫(Markov)模型,并对其可行性进行分析。通过对各个分片的数据操作构建Markov链,求出一步转移概率矩阵和各个操作的稳态向量。结合分片上的数据容量、服务器间的性能差异、数据操作的负载权重以及数据的访问热度对各个分片和Chunk块上的负载进行定量预测。以各个分片和各个Chunk块上预测的负载为依据,选择合适的源服务器、目标服务器以及将要迁移的Chunk块。在选择之前,我们引入二叉排序树对各个分片和Chunk块的负载进行排序。然后制定相应的数据迁移策略来决定何时对选择的Chunk块进行迁移以及何时达到负载均衡。(3)搭建实验平台,首先通过实验确定各个操作的负载因子。然后,将本文提出的负载均衡算法和MongoDB自带的负载均衡算法相对比,通过实验验证此算法不仅能很好的均衡系统的负载,而且可以减少系统的响应时间。
其他文献
为了促进政府职能的进一步转型升级,不断提升审计业务覆盖率,政府审计机关开始着力扩大开展审计工作的范围。基于此,审计机关人员不足的问题日益凸显,于是更多的项目交由政府机关自行审计,而政府机关一方面缺乏专业知识,另一方面本身工作任务重,通过采用对审计服务进行政府购买的方式,有助于进一步缓解开展该项工作面临的压力,不断提升协调运用审计资源的效率。在对审计服务进行政府购买时,很多方面的因素都会对审计质量产
硬质合金在地矿工具、冲压模具、轧辊等方面应用广泛。其工作环境恶劣,所以对材料性能要求非常高。硬质合金主要是由硬质化合物和金属粘结相组成,最常见的粘结剂为金属Co,Co
目的:本研究旨在探索在治疗前庭神经炎的临床过程中,于西医常规治疗的基础上联合应用中药汤剂大秦艽汤与中医针刺的中西医结合治疗方案是否较西医常规治疗更具优势。材料与方
在全球经济一体化的背景下,我国对外开放的程度逐渐加深,越来越多的国产化妆品开始销往其他国家和地区。为了让国产化妆品能够真正打入国际市场,其说明书的英译质量不容忽视
目前随着物联网以及各类无线通信技术的不断迭代与发展,以及移动互联网对各行各业的深入结合,位置服务尤其是室内位置服务的需求在不断增加且要求也在不断提升。WIFI技术与设备的大范围普及与快速发展,使得基于WIFI信号的定位方案一直属于室内定位领域的热点。而近年来相比于传统的利用接收信号强度构建指纹或者测距方案进行定位,越来越多的研究开始基于WIFI信道状态信息(Channel State Inform
亲子互动的主要核心是家长与孩子一同完成或体验一项亲子活动,从中帮助更多的人们真正认知和感受到亲情的快乐以及提升家长与孩子之间的情感沟通。亲子互动是增进亲子之间情感的一种重要方式,尤其是在现代快速发展的生活节奏下,父母忙于日常工作而无暇顾及与孩子之间的沟通和陪伴、互动与交流;进而,随着人们物质生活水平的不断发展和提高,儿童的开支比例占家庭日常生活总支出的比例也日益升高,以及国家对“二胎”政策的开放和
旅游资源是旅游业赖以生存和发展的根基,也是确保旅游开发成功的必要条件。旅游资源评价研究始于20世纪50年代末,一直以来都是旅游研究的重点问题。2013年国家主席习近平提出
随着城市机动车保有量的增长,一系列城市交通问题如交通拥堵、尾气污染等愈发严重,如何解决这些问题引起了各大城市的高度关注。与小汽车相比,公共交通出行具有集约化程度高
目的 通过比较胃癌根治性全胃切除术两种不同消化道重建术后患者的生活质量、术后并发症及3年生存率等方面的差异,探讨全胃切除术后消化道重建方式的最优选择。方法 本研究为
随着便携式电子产品和电动汽车的日益普及,人们对储能电池的续航能力和安全性要求越来越高,为了满足日益增长的能源需求,人们迫切地希望能找到一种新的高能量密度的储能电池