论文部分内容阅读
地震是一种常见的自然灾害,全球每年大概有500万次左右的地震发生,给人类社会带来严重的经济损失和人员伤亡。我国对于地震的相关研究从未停下脚步,自1980年开始到现在全国已经建设了数以千计的地震观测台站,积累了大量的形变、地电、地磁、重力、流体等学科的前兆观测数据。这些数据对于地震行业的研究人员来说具有重要的研究意义,如何存储、如何快速地分析数据,是地震工作者面临的一个难题。大数据技术的出现使得海量地震数据的存储难题迎来了希望曙光,不仅如此,人工智能时代的到来促进了机器学习与深度学习等技术的发展,这为地震数据分析提供了新的思路。对于地震行业工作者来说,利用大数据与人工智能技术搭建一个集数据存取、处理、分析于一体的地震大数据机器学习平台可以对其研究工作起到很大的帮助作用。
在数据存储方面,论文提出了一种基于HBase的地震前兆时间序列观测数据存储策略。设计HBase存储模型的关键在于设计合理的Rowkey,地震前兆时间序列观测数据具有多种采样率,以天为单位将Rowkey设计为:台站ID_测点ID_测项ID_采样率_数据日期,其中时间精确到天合并1天内的观测数据作为1条记录。基于HBase的存储方案无论在查询操作方面,还是在插入操作方面,都表现出了很好的性能,可以满足地震行业人员对于科研的需要。
在数据分析方面,论文提出了一种基于模板文件的具备高扩展性的算法模型实现方案。根据对传统机器学习、深度学习的研究,将地震数据分析核心业务功能抽象为数据集选取模块、算法模型设置模块、超参数设置模块、模型训练与结果展示模块四部分,用户只需要提供算法的模板文件、前端解析规则文件以及对应的python算法程序就可以订制属于自己的算法模型,这也是平台的创新性所在。该方案为地震大数据平台的各类地震监测、预报及数据管理部门提供数据挖掘、深度分析等大数据服务提供相应的技术探索及验证。
在开发技术方面,平台采用了B/S架构模式。Web前端使用Vue,服务器端使用Django框架结合Spark组件进行实现,具有简单易用、高性能、可扩展性强等特点。地震大数据机器学习平台的研究与实现就是为了给地震研究人员提供一个方便、快捷、可靠的地震大数据处理平台,该研究将极大地节省地震行业研究人员的时间,提高其工作效率,进而促进我国地震行业的研究与发展。
在数据存储方面,论文提出了一种基于HBase的地震前兆时间序列观测数据存储策略。设计HBase存储模型的关键在于设计合理的Rowkey,地震前兆时间序列观测数据具有多种采样率,以天为单位将Rowkey设计为:台站ID_测点ID_测项ID_采样率_数据日期,其中时间精确到天合并1天内的观测数据作为1条记录。基于HBase的存储方案无论在查询操作方面,还是在插入操作方面,都表现出了很好的性能,可以满足地震行业人员对于科研的需要。
在数据分析方面,论文提出了一种基于模板文件的具备高扩展性的算法模型实现方案。根据对传统机器学习、深度学习的研究,将地震数据分析核心业务功能抽象为数据集选取模块、算法模型设置模块、超参数设置模块、模型训练与结果展示模块四部分,用户只需要提供算法的模板文件、前端解析规则文件以及对应的python算法程序就可以订制属于自己的算法模型,这也是平台的创新性所在。该方案为地震大数据平台的各类地震监测、预报及数据管理部门提供数据挖掘、深度分析等大数据服务提供相应的技术探索及验证。
在开发技术方面,平台采用了B/S架构模式。Web前端使用Vue,服务器端使用Django框架结合Spark组件进行实现,具有简单易用、高性能、可扩展性强等特点。地震大数据机器学习平台的研究与实现就是为了给地震研究人员提供一个方便、快捷、可靠的地震大数据处理平台,该研究将极大地节省地震行业研究人员的时间,提高其工作效率,进而促进我国地震行业的研究与发展。