随着互联网的迅猛发展、数据量的迅速增长,云计算、物联网以及大数据、云存储等新兴技术方兴未艾,而这些技术能够平稳发展就需要海量存储系统的支撑。在现今知识爆炸的时代,数据作为获取知识的信息源,一定程度上决定了一家企业的存亡,因此,大量数据的安全存储也是企业确保各项业务稳定运行的关键。磁盘仍是当今存储领域的主流设备,磁盘的运行状况直接影响着存储系统的可靠性和可用性。磁盘一旦发生故障,有可能会引起业务故障导致数据服务不可用,严重的程度下还有可能导致数据丢失,致使企业信誉受损,给企业造成不可挽回的损失。基于机器学习的磁盘故障预测系统旨在利用大多数厂商制造的统一的标准SMART(Self-Monitoring Analysis and Reporting Technology,即“自我监测、分析以及报告技术”)特征数据实现对于磁盘故障的预测,以完成磁盘故障的主动容错,减少甚至避免因磁盘故障导致的数据丢失。该系统完成了用户管理功能、磁盘故障预测功能、日志管理功能、统计信息功能、磁盘报警等多项功能,实现了结合公司数据特征的磁盘故障预测系统的落地。在构建系统的时候还考虑到了磁盘运行数据库的建立。其中,系统的核心功能是磁盘故障预测功能,包含开始预测模块、暂停预测模块、预测模型训练模块;其它三部分内容都是对这部分内容的辅助,用户管理模块负责对使用该系统用户的管理,包含用户登录、信息查看、密码修改、注销等多项基础功能,日志管理模块一方面记录了用户账号进行处理的相关日志、另一方面记录了磁盘故障预测历史以及对故障磁盘进行的处理操作,统计信息模块记录了系统各个服务的运行状态、磁盘运行状态以及对于磁盘故障预测部分模型最佳模型的统计信息等。本人在项目中主要研究关于磁盘预测模块的相关功能。前端触发了磁盘故障预测的功能会启动业务逻辑层的相关服务。业务逻辑层的相关服务包括磁盘运行数据采集服务、数据预处理服务、磁盘状态预测服务以及磁盘状态进行预测等多项功能,为上层提供接口封装,以实现用户对于预测效果的理解,及时捕捉到磁盘的状态对数据采取措施以保护数据的安全。业务逻辑层的所有提供的服务都是以系统磁盘运行特征的数据库作为基础的,而构建底层数据库的内容也是工作的一部分,其中涉及到利用Flume、Kafka等技术对分布于不同区域的磁盘运行日志进行处理。该系统业务逻辑层的功能部分主要采取Python实现,通过线下对数据特征的探索和处理,选择相关领域研究的有效机器学习算法,最终实现了对于磁盘故障的预测,并且通过比较能够选择出最可信的结果,在低误报率的情况下实现较高的准确率。并将这一系列的模块封装成微服务向上层提供服务,一方面确保相关技术在升级迭代的时候前端业务能够正常运行,另一方面保证服务之间相互独立,逻辑清晰,保持松耦合的状态。