大规模存储系统硬盘故障预测方法研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:luoxing1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,大规模存储系统普遍采用副本、纠删码等技术来提供高可靠性。随着存储系统规模和复杂性的不断增长,传统的冗余机制难以提供足够的可靠性,构建高可靠性的存储系统成为了巨大的挑战。目前,几乎所有的硬盘都支持SMART故障预测技术。SMART全称为" Self-Monitoring, Analysis and Reporting Technology",它会监控硬盘内部的一些与健康状况相关的属性,如果某个属性值超过了阈值,它就会发出故障预警信息。然而,SMART技术的预测准确率非常有限,仅能在0.1%的误报率的情况下预测出3-10%的硬盘故障。一些研究者研究了基于硬盘的SMART信息,采用统计学和机器学习的方法建立硬盘故障预测模型。然而,这些模型仅能够在保持较低误报率的情况下,预测出60%左右的硬盘故障。本文尝试了改进和优化基于支持向量机(Support Vector Machine, S VM)的硬盘故障预测模型。本文还提出了基于反向传播(Backpropagation, BP)算法的人工神经网络(Artificial Neural Network, ANN)来建立预测模型,并且对该BP-ANN预测模型用AdaBoost算法进行了优化。实验数据集来自实际的数据中心,包含了多达23,395块硬盘的SMART记录。本文采用了新的样本处理、选取方法以及特征构造的方法,提高了模型的预测准确率。本文还提出了一种基于投票的故障检测算法,该方法能够有效降低模型的故障误报率。为了更加准确地描述硬盘的健康程度(即故障概率),本文也尝试了使用BP算法建立硬盘的健康度模型。实验结果显示,本文提出的模型取得了非常好的故障预测性能。优化的SVM模型能够取得最低的误报率(0.03%),而BP-ANN模型则能在保持较低误报率时达到95%以上的故障检测率。本文利用马尔可夫模型计算了不同存储系统的可靠性,结果表明硬盘故障预测模型可以显著提高存储系统的可靠性。此外,本文还初步探索了主动容错机制在实际大规模存储系统中应用的问题。
其他文献
女儿自幼爱好读书,不管是大人书还是小人书,只要能找来都爱读。我为女儿拥有良好的读书习惯而欣慰。恍惚间,女儿上了初二,读书兴趣依旧不减,我想应该不断提高女儿的读书品位。
目的:分析雷贝拉唑联合龙七胃康片治疗脾胃气虚证胃溃疡合并出血的临床疗效。方法:2018年1-12月收治脾胃气虚证胃溃疡合并出血患者120例,随机分为两组,各60例。对照组采用雷
<正>2009年4月,我们到涟水县南集、大东、陈师三个镇和十多个村,就农村老龄化形势和养老服务现状,进行了专项调查,研究探讨了一些应对之策,这也是我们学习实践科学发展观的一
会议
每天午饭后.孩子们会集体玩一些游戏.我要求他们统—坐在一个大圆圈里,不许大声吵闹,不许脱离我的视线,如果你问我为什么,我会理直气壮地说:“为了孩子们的安全!”一次偶然的发现.改
近年来,随着经济社会的高速发展,我国城市轨道交通也迈入了快速发展阶段。地铁凭借其高效,节能,稳定的优势,已逐渐成为大中城市的主要交通工具。全国中等城市陆续进行的地铁
提出了一种新颖的采用概率主成分分析的车牌提取方法。该方法是一种基于纹理分析的图像分割算法,适合于彩色及灰度图像。实验表明,该方法能准确地提取图像中的车牌。
由各种病原微生物引发的感染是人类最为常见和多发的疾病。随着广谱抗菌药物的大量使用,细菌的耐药问题以及因耐药导致的继发感染在临床治疗上极为棘手,也给社会和家庭经济带
纳税遵从呈现了现代公共财税体制下税制改善目标,包含了当代社会公民自我意识与国家意识提高的根本思想,成为测量现代税收征收管理绩效的一个关键尺度。提升企业纳税遵从度是税
随着科学技术和社会经济水平的不断提高,帆船的用途不仅仅局限于交通运输或渔业捕捞,体育运动、休闲娱乐也成为其主要应用。帆船以其不消耗资源、不污染环境的优点越来越受到重
阅读是一种复杂的获取意义的认知活动,对人类具有重要的意义。本文采用眼动追踪技术,以记叙文、议论文、说明文和新闻为实验的阅读材料,记录被试在汉语阅读过程中的注视次数