大规模磁盘故障预测方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:a53479051
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大规模存储系统中磁盘故障预测至关重要,一旦磁盘损坏信息丢失,将会给企业带来无法挽回的损失。基于磁盘运行数据,使用机器学习方法进行磁盘故障预测,目前已可得到较好的预测效果。但由于S.M.A.R.T属性对故障表征能力的局限性,仅含单个时间点的信息导致预测效果不佳。在磁盘故障预测问题中,目前预测的召回率和误报率无法达到工业级应用水平。文章将时序信息引入磁盘预测模型,提出时序随机森林的磁盘故障预测方法,包括数据时序特征处理和时序模型的优化。时序特征处理部分,提出数据时序分配策略,将时序数据按照时间动态分配到训练集、验证集与测试集;提出时序特征处理算法,将S.M.A.R.T属性的变化值拓展到模型特征中。预测模型优化部分,提出随机森林决策树时序权重投票算法,基于样本数据的时序特征,对随机森林中的不同决策树初始化不同权重,使用均值和方差进行时序数据的拟合;提出负反馈更新模型,在随机森林中引入后验决策树;基于历史预测数据加入负反馈信息,提出决策树权重更新算法。基于上述研究,设计并开发了数据中心的磁盘故障预测原型系统,包括磁盘数据采集子系统、磁盘故障预测子系统、磁盘巡检子系统与中心监控子系统,现已部署在大规模数据中心。通过测试与分析,结果表明文章提出的时序预测模型优于传统机器学习模型。相比于传统模型,使用时序数据模型后,在同样的误报率下召回率提高11.13%;使用优化的时序模型后,在同样的召回率下误报率降低52.0%;两者一起使用时召回率与误报率皆有稳定提升。将预测结果应用于磁盘巡检后,加速巡检时间占比为5.0%时,平均故障探测时间降低了152.6%;磁盘的磁盘巡检负载增加4.8%时,平均故障探测时间降低了217.3%,可大幅度减少磁盘巡检开销,降低平均故障探测时间。
其他文献
目前, 我国计算机网络技术迅猛发展, 已渗透到社会的各个领域, 正日益改变人们的工作、 学习和生活方式, 但其安全问题也日益严峻. 本文针对网络安全防范措施提出了一些建议,
文章对30个民族自治州全面小康社会建设进展进行了评估,结果表明,2000年以来,自治州全面小康建设取得显著进展,但各州间、各项目间、州域内各县和各民族间进展不平衡,稳定提
<正>至少从2009年起,新日铁是《世界品牌500强》排行榜上仅有的钢铁企业,尽管塔塔集团和蒂森克虏伯公司也年年荣登榜单,但其行业身份却标注为"工业设备"。我们暂不去讨论世界
空间规划是社会经济、社会文化和生态政策的地理表达,对政府统筹安排区域空间开发、优化配置国土资源、调控经济社会发展具有重要意义。介绍不同空间规划体系的典型代表美国
配电网是连接输电系统和电力用户的桥梁,快速有效的配电故障诊断方法对于保证用户供电质量和提高系统可靠性有着重要的作用,也是故障隔离和供电恢复的前提。人工智能算法是当
天然气水合物是一种未来潜在清洁能源,在大陆永久冻土带和海洋环境中储量巨大。然而,在天然气水合物开采过程中不可避免地出现砂砾随着流体进入井筒采出的现象,制约天然气水
光伏太阳能发电作为清洁能源,对环境破坏小,不受输电线路制约,在道路照明、高速公路信号指示及通讯等局部小范围领域内广泛应用。为解决长距离输水线路、水库大坝照明,远距离
本文首先分析了"技术增强的、基于建模的教学"(TMBI)的主要特点,在此基础上着重从TMBI如何促进科学探索、TMBI如何促进基于建模的思维、TMBI如何促进协作式学习和支架式TMBI
开展耕地休耕政策绩效评估对于进一步完善耕地休耕制度具有重要意义。就重金属污染耕地治理式休耕政策而言,农户作为主要的利益相关者,其对政策的满意度评价是衡量政策绩效的重要指标。但由于休耕政策在我国实施的时间相对较短,目前以农户满意度为切入点的耕地休耕政策绩效评估研究还相对缺乏。本文基于经济学中的顾客满意度指数(CSI)理论,结合重金属污染耕地治理式休耕的特点,从农户满意度视角构建重金属污染耕地治理式休
在中国古典文学发展的历史中,诗歌自其产生之日起便与音乐有着难以割裂的血亲纽带。由于现代西方诗学理论的不断渗入,中国新诗的发展受到影响的程度也不断深入,这使现代诗歌着重表现诗歌的“诗性”,逐渐削弱了新诗入乐的可能性,使诗歌与音乐不可避免地渐行渐远。在我国当代,一大批优秀唱作人的歌词作品也因其丰富的诗性内涵被选入文学教材当中足以证明越来越多的人开始认可现代歌词的文学价值。本文以1975-1985年间“