面向数据中心的存储容错与故障预测方法的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:long_teng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据中心所存储的数据规模和所部署的服务器集群规模日渐扩大,部署的存储设备数量也随之增长,存储设备故障频发。为应对存储设备故障,提高存储系统的可靠性,数据中心中常应用多副本和纠删码的数据冗余策略进行容错,应用存储设备故障预测技术进行故障预先处理。一方面,如何根据多副本和纠删码策略的特点部署数据冗余策略,在保障高可靠性的前提下,做到性能最佳、存储利用率最高,是数据中心提供高可靠高性能的数据服务所需解决的重要问题;另一方面,数据中心中拥有大量既有相似又有较大差异的磁盘设备,如何为大量异构的磁盘设备构建高准确度的故障预测模型,是保障存储系统高可靠性所面临的重要问题;再一方面,模型的可解释性降低容易导致模型受偏差和过拟合影响,如何为磁盘设备构建高准确度高可解释性的故障预测模型,是推动磁盘故障预测实用化所需解决的重要问题。
  面向数据中心从存储系统的可靠性角度出发,提出非顺序条带的编码策略,应用于异构磁盘设备的故障预测方法,优化磁盘故障预测模型可解释性的解释方法,为提高存储系统的可靠性提供理论和方法。
  针对混合使用多副本和纠删码的分布式存储系统中多副本数据向纠删码转换的高效高可靠的编码问题,提出非顺序条带的编码策略NSSE(Non-Sequential Striping Encoder),在保障可靠性的前提下提高编码性能。NSSE在选择k个数据块构建条带时,优先选择在同一机架上的k个不同的数据块,且这k个数据块拥有分别存储在k个机架上的副本,然后在数据块共存的机架上进行编码以降低跨机架的网络流量,提高编码性能,编码后保留不同数据块在不同机架上的副本以保证无位置相关块的产生,保障数据的可靠性。NSSE通过细粒度地匹配数据的访问热度和副本数,分摊编码开销避免存储和网络的I/O突发,在保障负载均衡的前提下优化系统的存储利用率。在测试中对比现有的编码策略,NSSE能够保障无位置相关块的产生,减少50%以上的跨机架流量,减少30%以上的编码时间,减少对线上应用的数据服务性能的影响,将I/O密集型应用因受影响而增加的运行时间减少了60%。
  针对数据中心中异构多样的磁盘设备的故障预测建模难题,提出根据数据集规模选择建模方法的故障预测方法OME(Optimized Modeling Engine),为每个磁盘系列构建高质量的故障预测模型。OME结合现有的一对一建模、迁移学习建模以及一对所有建模等方法,根据数据集中故障盘的数量,使用验证比较的方法自动为每个异构的磁盘系列选择合适的建模方法,以构建高质量的故障预测模型,减少人工参与模型调优。OME通过计算数据集的相似度进行迁移源的选择,使用实例迁移的学习方法,提高数据集欠充足的磁盘系列的故障预测模型质量。OME通过应用调优空间的搜索剪枝与基于有向无环图的建模任务并行调度等技术,降低OME进行参数调优和方法选择的时间开销。使用真实数据中心公开的数据集进行测试,采用F1分数(F1-score)衡量模型质量,OME相比起现有的面向异构磁盘设备的建模方法,在F1分数上整体提升了18.5%,达到0.7115,在精确率和召回率上各提升22.3%、14.5%,准确率达到97.18%,误报率降低了34.1%。
  针对磁盘故障预测需要兼顾准确度和可解释性的建模难题,提出适应磁盘故障预测特点的解释方法DFPE(Disk Failure Prediction Explainer),在保留复杂模型的强大学习能力的同时提高模型的可解释性,既有利于发现现有模型中存在的问题并促进模型的改进,也有利于在部署应用中提高模型输出的可信度和采取智能的故障处理措施。现有的机器学习模型解释方法,只提供特征重要性作为解释信息,难以适应磁盘故障预测的特点和需求,对故障预测模型的可解释性提升有限。与之相比,DFPE对故障预测模型进行全局解释时,不仅衡量模型的特征重要性,还对故障先例进行统计分析,推测模型的预测规则,计算预测规则在故障先例中的检测率和误报率,有助于发现现有模型中可能存在的偏差和过拟合问题,促进模型的改进;DFPE在对模型输出的故障预测结果进行局部解释时,还分析其所依据的预测规则,并展示相应预测规则的检测率和误报率,以判断故障预测结果是否可信,从而提高故障告警的可信度;此外,可从故障预测结果所依据的预测规则中推测磁盘的故障表现,为后续采取更灵活的故障处理措施提供决策依据。使用现实数据中心公开的数据集进行测试,可视化地展示DFPE对故障预测模型的全局解释信息和对故障预测结果的局部解释信息,表明DFPE的解释信息相比现有的解释方法更加详细准确,通过实例表明DFPE的解释信息更有助于发现模型中存在的偏差问题,并提出模型相应的改进方法,从而保障模型在实际部署应用中的准确性和可信度。
其他文献
现实世界中充斥着大量的信息,而人类对外界信息的感知大部分都是依靠人类的视觉处理,这主要源自于人类视觉系统(HumanVisualSystem,简称HVS)具有强大的信息处理与感知能力。对于一个给定的场景,人类的注意力往往会关注在一些比较重要的目标上,从而自动地忽略掉大量无足轻重的信息。在场景中,能够吸引人类注意力的目标被称为显著性目标。面对图像数量每天以指数增长的现状,科学家模拟人类的视觉机制展开
根据文本内容为不明确词义的词汇赋予一个合适词义称为词义消歧(WSD)。WSD的目标是提高一些实际应用场景中的精确度,如信息提取、自动汇总或机器翻译等,它是通过一种蝙蝠算法(BA)的智能计算方法来实现的。BA来自元启发式方法的群体智能家族。由于BA是一种基于集群的算法,因此它在探索搜索空间的广泛领域中有着巨大的潜力,这也使得它在多样化过程中非常高效。为了进一步改进搜索算法,采用了一种名为爬山算法(H
学位
背包问题(Knapsack problem)是最著名的NP难问题之一,它的应用场景极为广泛,包括运输、物流、切割包装、电信、可靠性、广告、投资、预算分配和生产管理等许多工业领域。它既可以作为独立问题出现,也可以作为更复杂的编程模型的子问题出现。  同时,背包问题在信息加密、预算控制、工程选择、材料切割、货物装载、网络信息安全等方面具有重要的应用价值。从计算复杂性理论的角度来看,背包问题是一个经典的
学位
当长脉冲(亚皮秒、皮秒、纳秒甚至连续波)泵浦光纤反常色散区时,调制不稳定性会不断放大输入端低幅度噪声并导致随后通过高阶孤子衰变产生的基阶孤子振幅以及脉宽出现较大波动。这些具有不同能级以及脉冲宽度的基阶孤子在群速度方面的差异性将导致孤子间发生碰撞。孤子碰撞将导致具有较低峰值功率的基阶孤子将部分能量转移给具有较高峰值功率的基阶孤子从而使其形成光流氓波(RW)。光RW是一种具有超高强度极大红移并产生在超
访问超点是网络中在一段时间内与远大于平均值数量的对端有交互行为的主机。访问超点检测算法的目标就是找出流量中连接对端数大于阈值的所有主机。访问超点一般是服务器、代理、扫描器和被DDoS攻击的主机。访问超点检测对网络安全和网络管理有重要的意义,也是这个领域一个没有完全解决的热点问题。  现有访问超点检测算法存在如下缺陷:算法运行时间长,无法实时处理高速网络数据;不能在滑动时间窗口下运行,无法检测跨越时
学位
随着信息技术的进步,特别是人工智能技术的发展,人们在万维网上发布了包含大规模数据的知识图谱,为知识互联、为智能问答和语义搜索等诸多人工智能应用提供支撑。  知识图谱从逻辑上分成数据层和模式层,其中数据层主要描述现实世界的事实性知识,而模式层主要由公理组成,目的是管理和组织数据层知识。模式层知识一般也被称为本体知识。由于百科类网站的半结构化数据中缺少模式信息,导致公开的知识图谱中本体知识缺乏。本体的
学位
大数据蕴含着许多有价值的知识,想要获取这些知识,需要进行数据分析、数据挖掘等操作,函数查询是这些操作的基础。与一般查询不同,函数查询在查询表达式、查询结果等方面具有自己的特点,但是函数查询缺少类似于关系代数、关系演算等形式化的描述工具,这些问题阻碍了函数查询的理论研究。  为了对函数查询进行理论研究,针对查询结构和复杂度问题,本文给出了形式化定义和分析。目前,关系模型是大数据函数查询的主要数据模型
学位
语音情感识别(Speech Emotion Recognition,SER)或声学情感识别自语音识别、说话人识别和情感识别研究诞生以来,在过去的几十年里取得了重大进展。近年来,研究者从不同的角度进行语音情感相关的研究,目标是实现高效的现实世界类人的语音情感识别系统,以解决现实生活中新型的人机交互问题。然而,目前公开的情感语料库存在录制条件、语言以及说话人等方面的差异,且从同一分布中提取的训练和测试
近年来,为了快速灵活地部署网络服务,网络功能虚拟化(Network Function Virtualization,NFV)已经成为了一种很有前景的网络架构范例。通过转变网络功能的实现方式,NFV倡导将专有硬件设备替代为软件网络功能并运行在商用服务器中,从而简化网络服务的部署和管理,降低资本支出和运营支出。随着NFV的发展,网络功能服务链已被应用于电信运营商、数据中心和企业等网络中。  在NFV实
互联网的蓬勃发展在当今世界掀起了一波又一波的科技浪潮,社会生产力得到了快速发展,国家经济实力和人们的生活水平都得到了显著提升。近年来又是以移动互联网为主要推动力,推动着社会生产力不断向宽度和深度发展,其影响力之广,促使了各行各业不断追求转型升级,其影响力之深,渗透到了人们的日常生活,改变了人们的生活方式。在移动互联网这片沃土之下,大数据、人工智能、物联网等新兴技术的崛起,将人民生活水平提升到了更高