存储系统配置参数推荐方法研究

来源 :任哲旋 | 被引量 : 0次 | 上传用户:diana20xx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了适配用户具体的应用场景,满足用户对系统性能的需求,存储系统提供了大量的可配置参数。但是使用默认配置不能保证在任何情况下都能获得最优性能,因此需要使用配置参数推荐算法,通过调节参数的值来优化系统配置。目前分布式存储系统待优化参数过多,且单次性能测试(采样)的时间开销很大,导致配置参数推荐算法需要在有限采样次数内得出相对较优的参数值。因此推荐算法应谨慎的进行每一次采样,同时需要合理、充分的利用采样数据。针对采样阶段现有的算法无法感知目标空间的问题,提出了自适应的渐进拉丁超立方采样算法,使用随机森林回归模型动态识别出欠采样区域并有选择的进行递进式采样,让采样数据尽可能的体现目标空间的实际分布。针对参数筛选阶段中正则化算法的共线性问题,提出了一种基于随机森林的参数重要性计算方法,使用随机森林结合Spearman算法更好的体现出参数间的依赖关系,提高了特征选择的准确性。为了在优化阶段充分利用采样阶段得到的数据,提出了一种最佳参数值预测方法,使用贝叶斯优化算法对采样阶段建立的回归模型预测出各参数的最优值,提前为用户推荐出一组配置。以Cosbench作为性能测试工具,对Ceph集群进行配置参数推荐实验。在优化平均处理时间上,实验结果表明,自适应的渐进式拉丁超立方采样算法结合改进的参数重要性计算方法后,得到的最佳配置比默认配置的综合性能提升了39.72%,与现有的使用L1正则化结合拉丁超立方抽样方法相比,优化的收益提升了3.59倍。最佳参数值预测方法能够仅利用采样数据即可给出相对较好的配置,与默认配置相比预测得到的综合性能可提升约8%。
其他文献
完整性检测技术广泛应用于非易失内存系统中保证数据的安全性,但会引入额外元数据,并需要正确保存这些元数据,避免出现系统崩溃后数据无法正常使用的问题。在上述技术中,SIT(SGX Integrity Tree)因为支持层间并行计算而具备更好的更新性能。为保证SIT的崩溃一致性,现有工作在每次写操作时需要更新多个节点,并持久化对应元数据,造成较高的写延迟,严重降低系统性能,且崩溃恢复时间较长。面向系统崩
学位
广泛应用于社交网络等领域的动态图处理在大数据时代面临着海量数据带来的内存容量压力,传统的动态随机存取存储器(Dynamic Random Access Memory,DRAM)由于存储密度低,容量难以继续提升,极大地限制了动态图处理规模的扩展。高密度存储器非易失内存(Non-volatile Memory,NVM)的出现,使得对大规模动态图进行处理成为了可能。随着数据规模的提升,现有动态图数据结构
学位
基于日志结构合并树(Log Structured Merge Tree,LSM-tree)的键值存储(Key-Value Store)由于其高性能和高可扩展性被广泛应用于大数据场景中。然而,LSM-tree键值存储由于其内部合并操作(compaction)会对数据进行合并排序,存在严重的写放大问题。此外,LSM-tree键值存储的内部I/O操作会和用户操作相互影响,阻塞用户请求,造成系统的长尾延迟
学位
随着大力发展“互联网+教育”模式以及国家对培养职业技能的政策支持,在线职业教育平台发展愈渐成熟,领域内用户规模日趋庞大。而为满足不断升级的用户需求,产品持续高速更迭,不可避免地出现了功能同质化、填鸭式教学等问题,本质是未达到学习内容与用户能力的平衡。且众数在线职业教育产品皆以内容为卖点,缺乏用户关怀使得产品体验冰冷,难以保证用户黏度。故本文基于心流理论对在线职业教育场景进行研究,旨在满足用户差异化
学位
基于NAND闪存的固态盘(Solid State Drive,SSD)存储设备具有高性能、重量轻、高密度、抗冲击和低功耗等优点,在大容量高性能存储系统中逐渐取代传统的磁盘成为主流存储设备。随着三维堆叠技术和多比特单元技术的发展,闪存存储密度不断提升。存储密度的增长是以牺牲闪存性能为代价,因此如何设计具有高性能的闪存存储系统成为研究热点。为充分利用固态盘内多级并行性,通常将不同并行单元间相同偏移的闪
学位
博士研究生们在高等教育系统中位于最高层次,承担着科研创新的重任,受到各方的关注与重视,但来自各方面的压力使得他们的心理健康水平不容乐观。影响博士生心理健康的因素来自院校、导师、同门等多方面,这些因素可以被划分为要求和资源两类,然而目前尚未有研究从要求与资源方面来考察博士生心理健康的成因。基于此,本研究借鉴组织管理领域的工作要求和工作资源概念及相关研究,依据工作要求-资源模型和资源保存理论,选取适用
学位
航空超导重力梯度仪是当前重力勘查仪器研制领域的前沿课题。在航空环境中,超导重力梯度仪的分辨率受交叉耦合噪声限制,难以进一步提高。为了抑制超导重力梯度仪的交叉耦合噪声,需要对检验质量在非敏感自由度的运动进行反馈控制。考虑到现有的PID控制器不足以满足航空环境中非敏感自由度反馈控制的需求,需要探索一种新的控制方法作为技术储备。本文提出了一种新的变结构反馈控制方法,设计和制作了控制器,通过仿真和实验验证
学位
主旋律影视作品是传递国家主流意识形态、弘扬民族文化和社会核心价值观、体现民族精神的影视作品,承担着传播社会共识、主流价值观和意识形态的职责。近年来主旋律影视作品开始呈现出新的发展面貌,受到观众尤其是青年观众喜欢的作品不断涌现,引起受众的广泛好评和热烈讨论。大学生是国家发展的重要后备力量,因此研究大学生对主旋律影视作品观看意愿的影响因素,对于国家社会的发展有着重要的社会意义,对于主旋律影视作品的发展
学位
2019年新冠疫情的出现为传统教育模式带来了挑战,许多线下的教学任务被迫转到线上完成。其中,云考试是在线教育中不可或缺的一部分,特别是对考试环境有特殊要求的部分编程类课程而言,研发相应的云考试系统具有重要的实用价值。基于硬件描述性语言编程的“数字电子线路设计”是电子技术相关工科专业的一门基础实验课程,在传统教学模式下学生需要到实验室进行统一的线下考试,由教师对学生的程序运行结果进行验收。由于目前缺
学位
基因是一个复杂的生物学术语,其概念继承了自古希腊时期流传下来的遗传学思想,其含义随着近代遗传学的发展不断发生变化。即使到现在,由于生物学的各分支学科之间联系的松散性,各自的语境中对“基因”一词所呈现的含义也是不同的。而且随着“基因”一词逐渐进入人们的日常语言,“基因”也已从单纯的科学术语转变为人们进行形而上学思考时所使用的哲学术语。由于“基因”一词的这种泛用性,任何公共领域的相关讨论都无法避免使用
学位