光纤具有通信频带宽、传输损耗小和抗干扰能力强等特点,广泛应用于通信系统中。当光纤发生扰动时,对扰动进行快速定位并判断扰动事件类型(包含断点、扰动和应力)具有重要意义。长时间的光纤扰动检测会产生海量数据,应用大数据技术可以实现海量数据的高效存储与分析。本课题来源于“海底光缆检测”项目。本文搭建了基于Hadoop的光纤扰动事件检测软件平台,该平台利用硬件采集光纤传感信号,采用网络通信、数据库、Hadoop等技术实现了光纤扰动的实时监测和大数据综合管理。本文主要工作如下:(1)根据项目的具体需求,深入研究了光纤传感定位技术、大数据技术、WebService远程调用技术和随机森林模型,提出扰动事件检测平台的总体设计方案。该方案包含两部分:光纤扰动监测软件和服务端数据管理系统。光纤扰动监测软件实时采集、存储数据以及对扰动事件进行分类定位,实现了光纤运行状况的实时监测;数据管理系统采用HDFS、HBase、MapReduce等Hadoop平台技术,实现了数据分布式存储与并行化扰动事件分类。(2)开发了光纤扰动监测软件,该软件包含5个功能模块,(1)通信协议模块:制定了管理指令上下行通信协议和数据采集通信协议;(2)数据库模块:完成了数据表的设计,并对数据库的安装、创建以及数据存储作了优化;(3)管理指令通信模块:基于TCP实现了激光器和嵌入式设备参数配置;(4)数据处理模块:基于UDP实现了数据的采集、解析与处理;(5)扰动事件检测与定位模块:采用相关性分析,并依据设定的阈值实现了扰动事件的实时分类与定位。(3)在服务端搭建了小型Hadoop集群,并设计部署了数据管理系统。该系统基于C/S架构采集分布在各地域的光纤传感信号,并将数据存储在MySQL中;运用阿里巴巴的开源Canal框架实现数据从MySQL到HBase的转移;采用MapReduce并行编程框架和Mahout机器学习框架建立随机森林模型,实现了并行化扰动事件分类;开发了基于WebService的远程接口调用服务,供用户对历史数据和事件分类作业结果进行查询。(4)进行了整体测试验证,包括监测软件、数据管理系统两部分。针对监测软件进行了性能与功能测试;针对管理系统进行了数据采集、转移、存储、扰动事件分类、WebService服务测试。测试结果表明本文设计的基于Hadoop的光纤扰动事件检测平台能够实现对光纤扰动事件的实时检测与定位,且定位精度和实时性均满足设计需求;应用大数据领域成熟的Hadoop技术实现了海量数据的分布式处理,为后续大数据的进一步挖掘以及商用奠定基础。