面向分布式数据库TiDB的自动参数调优系统的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:f805616873
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的高速发展,各类应用所产生的数据量呈爆炸性增长趋势,对海量数据存储有着越来越高的需求,同时也促进了分布式数据库的快速发展。TiDB是一款新型分布式数据库,具有分布式水平弹性伸缩和多副本数据安全等重要特性。然而TiDB拥有比单机数据库更多更复杂的性能参数,默认配置并不能适应所有分布式应用场景,且手工配置合理的参数难度很大,因此对其进行自动参数性能调优具有很重要的实用价值。针对上述TiDB参数性能调优问题,研究实现了TiDB的自动参数调优系统TiTune。TiTune通过收集TiDB运行时的状态参数,使用机器学习技术进行分析,从而自动给出推荐的参数配置,并根据运行反馈的结果动态更新参数,以逐步优化系统的性能。TiTune由集群控制模块和参数推荐模块构成,集群控制模块负责数据库状态收集和推荐参数配置。参数推荐模块首先利用特征选择的方法对可调参数进行重要性识别,同时存储每次数据库运行过程的历史数据;将当前负载与历史负载进行匹配,在已有的模型基础上进行训练和配置推荐,以加速模型收敛和提高系统性能;最后在不同的负载环境下选择遗传算法、贝叶斯优化或DDPG(Deep Deterministic Policy Gradient)强化学习算法来生成推荐的参数配置。经过参数推荐模块得到的推荐参数配置最终由集群控制模块应用到TiDB。自动参数调优系统TiTune以Sysbench和TPC-C(Transaction Processing Performance Council-C,TPC-C)作为负载生成工具,在TiDB上进行测试。对比了在默认配置和基于不同参数推荐算法下TiDB的性能,并分析了不同算法的调优过程和调优效果。测试结果表明,相比于默认配置,遗传算法、贝叶斯优化和DDPG三种算法都能提升数据库性能,贝叶斯优化和DDPG算法效果更好,吞吐率提升的最大幅度约178.2%,平均延迟下降64.7%,其中贝叶斯优化相比于DDPG能够更快收敛到最优配置。
其他文献
‘赣彤1号’是通过单株选择的方法从樟树自然杂交实生苗中选育出的新品种。春季新叶橙色,成熟叶黄绿色或绿色;夏季新生叶为黄绿色,成熟后转为浅绿色、绿色;初生枝浅粉红色,有密的白色斑点和紫色基环,半木质化后鲜红色。适宜在长江中下游以南地区樟树适生区进行景观林或绿化应用。
期刊
随着开关电源的进步,产品的高效率、小型化越来越受到重视。LLC谐振变换器具有高效率、高可靠性和易磁集成的特点,但其功率密度受限于磁性元件的体积。相比传统变压器,平面变压器具有散热好、载流能力大、功率密度高、可重复性强等优点,符合LLC谐振变换器的发展要求。提高开关频率能够有效缩小变压器体积,但产生的涡流损耗、漏感和分布电容等对变压器的效率以及性能有所影响。因此,研究高频下平面变压器的损耗、寄生参数
学位
随着云计算、物联网、大数据等新兴业务应用普及,数据中心作为云计算的核心基础设施,其计算能力和内部数据交换能力呈现出指数级增长趋势。为应对数据流量快速增长的需求,新一代短距光互连系统向着高速率、大容量方向发展。受光纤色散和器件带宽制约,进一步提升开关键控(On Off Keying,OOK)信号速率遇到瓶颈,利用高波特率高阶调制信号可以满足速率提升的需求。四电平脉冲幅度调制(4-level Puls
学位
Mura指平板显示器像素矩阵上出现的不完美、不均匀现象。自动光学检测技术因其快速、精准、稳定的特点在平板显示器的自动化生产中被广泛应用。对于数量庞大、种类繁多的Mura缺陷,本文引入基于卷积神经网络的Faster R-CNN目标检测算法,试图提高传统机器视觉算法的准确度和检测效率。针对Mura缺陷图像样本中存在背景噪声和亮度不均匀问题,利用Gabor滤波器组对图像纹理背景进行抑制,并利用独立成分分
学位
氨气引发的雾霾污染问题正逐渐引起人们的关注。具有大比表面积的二维材料MXene在氨气气敏和吸附方面展现出巨大潜力。然而,当前针对MXene吸附氨气的研究仍只停留在极少数案例上,且对吸附的机理尚无规律性的研究。本文基于第一性原理计算,研究了一类MXene材料(M2CO2)对氨气的吸附能,主要研究内容如下:计算了6种M2CO2(其中M=Ti、V、Zr、Nb、Hf与Ta)对氨气的吸附能,确定了稳定的吸附
学位
成像光学系统是帮助人们观察世界的工具,随着如今科技的发展,对光学系统的要求也逐步提高。离轴反射系统相对于常用的折射和折反射式系统,有着无色差,使用波段广,大视场,大口径以及体积小等优点,具有良好的应用前景。文章主要从像差理论入手,分析离轴反射系统中存在的离轴矢量像差,用以指导后续离轴反射系统的设计优化。并引入光线追迹方法,分析赛德尔像差系数与系统中各反射面之间的联系,以此进行初始结构的设计。在光线
学位
为了减小传统Si基MOSFET器件缩小到纳米级别时小尺寸效应造成器件特性退化的影响,适应后摩尔时代异质集成的发展需求,可以通过选取具有更高载流子迁移率的Ge作为沟道材料,设计更合理的器件结构以及采用性能更优异的栅介质材料等方法实现突破。本文从实验和模拟仿真两方面开展工作。实验方面首先围绕不同堆栈栅结构分别制备了Ge/Al2O3,Ge/Al2O3/Hf O2和Ge/Al2O3/Hf Al O三种MO
学位
随着信息技术的高速发展,各类电子产品为人们的生活与工作带来了极大的便利,而电源作为驱动这些电子设备的动力源泉,承担着信息社会基石的作用。如今,伴随着高速通信、电动汽车和智能制造等技术的长足进步,宽输入范围高效率的Buck型直流-直流(Direct Current to Direct Current,DC-DC)变换器也逐渐成为集成电路行业的研究热点:它不仅能够满足不同应用场合对输入输出电压的要求,
学位
‘赣彤2号’是由樟树实生苗中选育出的新品种。叶片内折,春季新叶橙红色,成熟叶浅绿或绿色;夏季新生叶为浅黄色,成熟后转浅绿色、绿色。春季初生枝粉红色且有稀疏白色斑点;夏季初生新枝黄色、有红色斑点且有紫色基环;10月下旬枝条半木质化后鲜红色。
期刊
在知识经济时代下,城市与区域的发展动力越来越依赖知识这一关键变量,使得知识密集型产业被赋予由知识、技术引领下的创新发展使命。其中,知识密集型服务业(KIBS)以知识和信息等非实体产品的传播、交易为等特征,是承载城市经济功能的重要产业。KIBS产业倾向于在空间上集聚以获取更大的竞争优势,这种集聚所形成的区域既集聚了众多KIBS企业,又汇集了大量的城市知识与创新资源,对于城市内部的培育新兴产业增长极培
学位