论文部分内容阅读
随着移动通信行业的快速发展,各运营商加大了移动基站的建设。移动基站规模的增加为日常的运维工作带来了挑战。虽然目前移动基站建立了DCS、SCADA等系统对基站设备进行监控,但是这些系统存在数据分散、历史数据利用不足、数据处理效率低、预测能力低等问题。随着大数据技术、机器学习模型的应用,利用计算机系统采集设备运行数据,整合相关数据信息,通过建立机器学习方法来对基站设备的故障信息进行预警已经成为移动通信行业设备预警领域发展的重要方向。本文对移动基站设备预警系统中如何融入机器学习功能进行研究,解决目前设备预警系统中历史数据利用率低,预警信息需要人工判断,无法利用机器学习模型等问题。首先,本文对系统的需求进行分析。目前,移动基站的数据一般保持在基站的系统之中,数据较为分布,没有有效整合,历史数据也没有被充分利用。同时,设备传感器发出的报警信息,比如温度过高,电压波动等,需要人工进行进一步的甄别,处理效率较低。传感器的预警信息一般是在设备将要出现问题或者已经出现问题时,传感器监控到异常数据后发出,并没有提供对设备在未来一段时间内是否可能出现故障的预测信息。因此,本文系统的核心需求时采集各个基站的故障信息,通过大数据平台对数据进行整合,然后将机器学习功能融合到系统中,让运维人员能够通过Web网页调用机器学习模型进行训练,并对设备在未来某段时间出现故障的概率以及类型进行预测。其次,本文对预警系统进行了详细设计。结合需求来看,该系统需要解决大数据的存储以及通过大数据平台支持机器学习模型的运行,并且能够通过Web调用模型的问题。因此,本文对整个系统的数据采集、清洗流程进行了设计,对大数据平台中用于数据存储的结构进行设计,并对调用机器学习模型进行预警的模型训练、模型预警等功能进行设计。第三,本文详细介绍了各个模块的实现方式。本文使用Kettle实现传统数据库与大数据平台ETL。通过整合Spark Mlib、Sklearn、PMML以及Jave Web实现了从前端输入到调用后台大数据机器学习模型的功能。然后对系统配置时间窗口训练时间序列模型、机器学习模型以及模型检验的实现方式进行了研究。最后,通过Java Web前端调用Kettle的接口,实现运维人员自定义抽取数据的功能。第四,本文对系统进行了功能测试以及性能测试,对系统的模块功能、ETL以及机器学习模块设计用例进行测试,最后对大数据平台的性能进行了测试,测试结果均满足需求。本文的研究对于提升移动基站大数据的处理能力,利用机器学习算法对设备故障预警,提高基站运行的稳定性具有一定的参考价值。