基于HBase的煤矿微震时序大数据存储与管理系统的研究与实现

被引量 : 0次 | 上传用户:nullg08
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国工业化的不断发展,对煤矿资源的开采强度相对较高,由此引发的煤矿微震事件频率也逐年增多,对煤矿产业工人的人身安全造成了危害。针对煤矿微震事件的监测与分析问题,国内外已进行了大量研究。然而,在现有系统下,对于煤矿微震时序大数据的存储和微震事件数据管理方面仍存在一些待解决的问题,需要进一步深入研究和探索。目前,通过在煤矿开采矿区广泛部署微震监测传感器是一种常见的监测方法。然而,这种方法的广泛应用也引发了一些问题。首先,大规模部署的监测传感器产生的大量微震时序波形数据无法被高效存储与管理。其次,当前对于微震事件分类仍然采用专家人工研判的方式,这种方式尽管一定程度上保证了事件分类的准确性,但效率偏低。本文研究并实现了基于HBase的煤矿微震时序大数据存储与管理系统,该系统具有六个核心模块,包括登录模块、波形数据存储模块、微震事件计算模块、微震事件分类模块、微震事件查询模块以及台站工况模块。其中,登录模块通过用户、角色、权限三者之间的关联,实现了用户身份校验以及用户权限控制。波形数据存储模块主要包括构建索引文件、多线程并发对齐与读取以及存储优化模块,为了进一步提高微震波形时序大数据的存储效率,在此模块中提出了基于HBase与Netty的煤矿微震时序大数据存储框架,该存储框架包含根据微震波形时序数据特征设计的适用于微震波形时序数据的HBase数据表结构、预分区策略以及主键优化策略,在存储子模块中的高并发处理层增加了基于Netty与Redis的数据转发中间件并进行分布式部署,为存储过程提供异步处理能力以及合理的资源调配。该存储优化框架较好地解决了高并发存储问题,有效提高了微震波形数据的存储效率。煤矿微震时序数据计算模块包括微震波判识计算、微震到时定位计算、微震事件震级计算以及微震事件能量计算,该模块为后续微震事件分类与微震事件查询模块提供数据支持。微震事件查询模块采用多维查询条件实现了对煤矿微震事件的精准查询,其中包括根据破坏类型查询、能量范围查询、事件类型查询、破坏程度查询、时间范围查询等多维度查询限定条件。微震事件分类模块包括数据预处理子模块和微震事件自动分类子模块,其中数据预处理部分对微震震级、微震能量以及微震发生位置三个变量数值进行补充与整理。微震事件自动分类子模块实现了基于随机森林算法的微震事件分类器,并在训练过程中对关键参数进行调优。通过实验验证了微震事件分类的准确率为84.39%,可以有效地为煤矿微震事件的安全管理提供技术支持。台站工况模块包括台站工况监测功能和查询台站工况信息功能。台站工况监测功能:系统设置定时任务定期监测台站工况信息。查询台站工况信息功能:用户可根据查询约束条件查询符合条件的台站工况信息,并将结果以ECharts仪表组件和表格的形式为用户显示。本系统采用B/S前后端分离架构设计。其中,底层存储媒介采用HBase分布式数据库为系统整体提供原始数据支撑,微震事件计算结果存储在关系型数据库My SQL中,Web后端由基于Java语言的Spring Boot框架搭建,算法部分基于Python语言编写,前端部分采用ECharts与Boot Strap框架,所有数据服务及数据库均部署在云服务器上提供在线服务。
其他文献
数字时代是一个数据爆炸的时代,在充分数字化的社会中,数据以指数级的增长速度快速汇拢,成为继土地、劳动力、资本、技术之外的第五大生产要素。《数字中国建设整体布局规划》中指出,要释放商业数据价值潜能,加快建立数据产权制度,开展数据资产计价研究,建立数据要素按价值贡献参与分配机制,数据价值的开放利用成为数字中国建设和数字经济发展的基础。数据价值的实现离不开快速、便捷、安全的数据流转,而实现数据流转最重要
学位
金融科技时代,数据已成为资产,成为企业核心竞争力。以大数据为代表的技术,已经正在影响着金融领域的发展。信贷作为金融领域的一个重要分支,拥有着繁杂的业务流程,每日要处理的数据量高达PB级,而且在企业中实际生产中数据较为分散,没有形成统一的数据处理流程规范。本文所进行的基于Spark的金融大数据处理系统的设计与实现的工作,针对企业痛点提出了有效的解决方案,帮助企业最大化的挖掘利用数据价值。本文的主要工
学位
<正>9月是属于教师朋友的节日。在祝贺亲爱的教师们节日快乐的同时,我们来推心置腹地聊一聊职业为教师的家长在进行家庭教育中要注意的一些问题吧。我的教育记者、教育研究者、阅读推广人的多重身份,使我在工作中得以有机会接触各类学校的教师群体和个体,能够了解到他们在学校教育之外的家庭教育状况;我的个人交往圈里也有许多的教师朋友,我同他们经常就家庭教育、儿童心理、亲子关系、孩子成长等问题进行探讨。
期刊
数据挖掘技术作为顺大势所趋,应时代而生,并逐渐发展起来的数据处理技术,在国内外已经有了较为广泛的应用。数据挖掘技术的基本思想是利用既往已经积累形成的数据,通过建立科学模型的方法找出隐藏的规律,以完成对经营的指导和参考。车险作为财产保险体系中重要的组成部分,业务所涉及的客户繁杂、投保与赔付判定复杂,同时流程的各个环节均依赖数据的支撑,在此过程中也无形地积累了大量数据。在这种情况下,中小型财险企业应该
学位
<正>有人说家长是一种终身不能辞职的"职业",是一种需要不断学习、用心体会、力争做到最好的"职业"。我们做父母的都很爱孩子,但如何爱、怎么做才能不辜负这份职业,怎么做才是真正地对孩子负责任,在日常生活中我结合自己的工作一直在积极探索和学习。随着自己工作经验的不断积累和孩子的渐渐长大,作为一名幼儿教师,同时作为一名家长,结合这两个身份,在孩子的教育上有了一些自己的心得体会。"妈妈适度示弱"的赏识教育
期刊
<正>一直以来,不少教师子女“出于蓝而胜于蓝”,成绩优异,全面发展,是令人羡慕的“别人家的孩子”。但近几年,一些教师子女出现严重心理健康问题且高于同龄人群的报道不时见诸报端,引起了笔者的关注。特别是阅读了北京大学徐凯文教授的文章《时代空心病与焦虑经济学》和齐凯教授的论文《大学生自杀相关行为与不同家庭因素之间的关系研究》之后,笔者对禄丰市教师子女群体开展了为期三年的非正式调研,结果也不容乐观。人民教
期刊
随着人民物质生活水平的不断提高,对旅游和住宿的要求也越来越高,酒店行业的发展机会也越来越大。近几年,我国酒店业市场呈现出一种比较明显的“两头倒”的态势,国外酒店、星级酒店占据了国内高端市场,而经济型酒店凭借着因为受疫情的影响,中国的中小型旅馆在发展上遇到了困难。与此同时,伴随着网络经济的快速发展,人们的消费水平也在持续提高,数码技术的发展也使得酒店业和消费者对住宿服务的个性化需求日益关注。所以,在
学位
<正>我生长在一个教师之家,现在就读于妈妈工作的小学——湖南省南县五小教育集团。不知从什么时候开始,"教师子女"这个身份给我带来了无尽的烦恼。因为这个身份,我的学习习惯、学习成绩成了衡量妈妈工作能力的标准之一。为了让妈妈在同事面前露出骄傲的神情,
期刊
<正>由于具有丰富的教学经验和教育经验,相对于其他父母群体来说,教师在子女教育的方面拥有着"得天独厚"的优势。从这一角度来看,相对于其他孩子,教师子女的确可以被称为"特权一族"。同时,从生活实际来看,也确实存在着许多教师子女在成长过程中品学兼优、学有所成的情况。根据诸多教育机构关于"父母职业对子女的影响"的调查和分析,相对来讲,
期刊
近年来,城市轨道交通发展迅猛,规模不断扩大,为缓解交通拥堵与促进城市的发展做了很大的贡献。但是盲目建设,不断增加交通供给,并不能够满足因城市日益发展而不断增加的交通需求,亟需解决的是城市交通与土地利用之间的协调发展,通过两者达到协调来降低需求总量,优化交通需求的分布,合理解决交通需求与供给之间的矛盾。国家多项城市交通发展政策也指明:需要进一步实现城市与交通的衔接融合,推进区域一体化,构建多层次的城
学位