基于智能预测的键值数据库负载均衡技术的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hnmaac
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
键值数据库由于其优秀的性能被广泛用于各种分布式存储系统中,而实现键值数据库的负载均衡性,有利于提高系统的稳定和效率。在现有的商业数据库中,数据的访问负载呈现周期性变化的规律,而传统的负载均衡策略在这种场景下具有调度的滞后性。随着深度学习技术的发展,数据预测技术越来越成熟,如果能准确地对未来一段时间内的负载做出预测,并结合负载均衡技术,将热点数据提前做出均衡处理,将有效地提高集群的整体性能。在此思想的基础上,设计并实现一种基于智能预测的负载均衡技术。该技术分为两个模块:预测模块和调度模块。预测模块以集群历史数据为基础训练模型,从而预测集群未来一段时间的负载曲线;调度模块每次在做均衡调度时,从预测模块中获取集群未来一段时间内的负载预测曲线,设定高负载阈值,通过阈值计算下个周期内的低负载时刻区间,再设计一种具有热度衰减特征的热度统计算法,以计算出集群热度最高的Top-K个Region(调度的最小单位)作为调度的热点Region。在计算结果的基础上生成调度计划,调度计划以低负载时刻区间作为调度时机,热点Region作为调度内容。改进后的负载均衡技术能够对集群中的热点数据提前作出均衡处理,且每次调度都在低负载时刻进行,最大程度地降低调度本身对集群性能的影响。基于开源的TiKV代码,采用LSTM(Long Short-Term Memory)模型,实现了系统原型,并在负载周期性变化的场景下做了充分的测试。测试表明,在预测方面,负载曲线的真实值和预测值的拟合度在93%~97%之间;在调度方面,基于智能预测负载均衡调度下的集群平均QPS峰值是改进前的1.24倍,平均查询延迟降低158~288毫秒。
其他文献
永磁同步电机通过矢量控制分别对转矩电流与励磁电流进行控制,实现电磁转矩的快速响应,进而实现位置给定的快速、准确跟随。由于实际的伺服系统中存在电流测量偏差、电机制造缺陷、电子开关死区等因素,永磁同步电机的电磁转矩会出现周期性脉动。本文以永磁同步电机伺服控制系统为对象,考虑在系统中引起转矩脉动不同因素的差异性,针对性提出转矩脉动抑制策略。本文主要从电机转矩脉动的量化、转矩脉动抑制策略、转矩脉动抑制在线
带宽和终端算力的提升激发互联网的内容形式完成了从文字到图片、再到视频的转换。随着5G、云计算、人工智能和芯片技术不断发展,互联网的下一个十年将属于“三维”。细分到人体三维建模,从传统的手工建模到利用全身扫描仪、Kinect相机等硬件辅助建模,或价格昂贵,或对捕捉视角和硬件精度提出要求,均不利于三维建模技术的推广。在此背景下,本文选择使用单张照片作为输入,借助深度学习和SMPL模型完成二维人体图像向
研究目的探索早期胃癌(EGC)及癌前病变(GPLs)在探头式共聚焦激光显微内镜(pCLE)下的不同表现,从胃黏膜病变发展的不同阶段(炎症、萎缩、肠上皮化生、上皮内瘤变、胃癌)探讨pCLE的诊断价值,为pCLE的临床应用提供循证医学支持。资料与方法选取2013年1月至2019年12月期间于华中科技大学同济医学院附属同济医院消化内镜中心接受pCLE筛查早期胃癌的患者,回顾性分析所有患者的内镜诊断、组织
以镍(Ni)基合金为代表的非晶合金具有高强度、高硬度、高耐磨性、良好的耐蚀性、优异的磁性和电学性能等,可用于航空航天、汽车制造、医疗器械以及电子通信等领域。目前,电沉积法可以制备大多数非晶合金,其在镀液稳定性、成本以及设备操作等方面具有一定的优势,但是存在如点蚀、孔隙等表面缺陷,内应力过大,加热时镀液维护困难和常温下加工速率不足等问题。因此,在电沉积体系中引入多能场复合,成为了改善单一电沉积不足之
背景:动脉硬化是一种动脉血管管壁增厚变硬直至失去弹性变狭窄的病变,也是心血管疾病发生发展过程中重要的病理改变。动脉硬化发生的危险因素除了缺乏运动、吸烟、不良饮食习惯、糖尿病、高血压和高血脂等传统因素外,近年来研究发现环境污染物暴露如大气颗粒物、气态污染物、重金属等都可能与动脉硬化有关。另外动物实验发现了二氧化钛、砷化物以及超负荷铁均可促进小鼠动脉硬化的发生,但仅极少数流行病学研究探索了单一金属水平
目的:利用病毒介导的基因操作技术及基因工程小鼠模型,研究中下部下丘脑(MBH)星形胶质细胞及小胶质细胞中的TAK1对小鼠焦虑样行为的影响。方法:1.使用化学遗传学技术(h M3D(Gq))激活小鼠MBH星形胶质细胞,观察对小鼠自发运动和焦虑样行为的影响。利用转轮实验分析小鼠的自发运动;利用旷场、高架十字迷宫、明暗箱、新环境抑制进食及社交实验分析小鼠的焦虑程度。2.构建星形胶质细胞TAK1敲除小鼠。
石墨烯是一种由碳原子组成的蜂窝状二维材料,具有优异的热力学性能、机械性能、电学性能。自2004年问世以来,众多学者、研究人员对其展开了广泛的研究。有关石墨烯材料的研究已取得了令人振奋的成果且仍在不断地蓬勃发展。未来石墨烯在纳米电子器件、复合材料、传感器件、半导体材料等高科技领域将具有十分广泛的应用。近些年来,为进一步提升及调整石墨烯性能,人们将六方氮化硼(h-BN)掺杂到石墨烯中,合成了一种新型的
电力电子转换设备的性能与其核心功率开关器件息息相关,传统硅基器件的发展已逼近其材料的物理极限,成为当前限制电力电子转换设备性能提升的主要因素。以SiC MOSFET为代表的第三代功率开关器件的出现,为电力电子转换设备的发展提供了新的契机。相比于Si MOSFET和Si IGBT,SiC MOSFET开关速度更快,开关损耗和器件应力之间的矛盾更加严重。为了减小器件应力,传统驱动电路通过增加栅极电阻来
深度学习的崛起使得人工智能成为这个时代最炙手可热的的技术名词。然而要想推进其在各个领域的智能化应用,使得深度学习在更多的实际场景下落地,却面临着巨大的挑战。实现人工智能技术的大面积应用,离不开与嵌入式端的结合。嵌入式端的深度学习应用研究已成为近年来的研究热点,在计算机视觉任务中有着举足轻重的地位。本文基于实际的嵌入式平台NXP S32V进行研究,探究了以往针对嵌入式端的轻量级网络中评估标准的不合理
美国自2008年以来出现明显的经济衰退,增长动力进一步减弱。大部分学者倾向于从技术进步降速等角度来解释美国全球经济影响力的式微,却忽视了美国经济增长的底层因素,即经济制度。美国的自由主义经济制度确实塑造了强大的金融产业与高端制造业,但制度会生锈,过度膨胀与边际效益递减导致原本的经济发展路径逐渐失灵,并反噬美国未来的中长期增长前景。本文从道格拉斯·诺斯的新制度主义角度出发,将美国的制造业、金融业、债