地质环境数据仓库联机分析处理与数据挖掘研究

被引量 : 0次 | 上传用户:gwang903
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
改革开放以来,我国经济得到快速发展,取得了举世瞩目的成就,然而,持续增长的工业化、农业现代化、城镇化进程也引发了地质灾害、地下水过度开采及污染、尾矿污染等一系列严重的地质环境问题,不但对人们的生活造成了越来越大的危害,而且也严重影响了我国经济长久发展的前景。因此,合理地利用各种自然和生态资源、对地质环境进行监控和防治、有效地减少和弥补社会经济的发展对地质环境的不利影响,是维持自然生态平衡、促进经济的可持续发展的一项重要工作。为此,我国构建了国家级、省级、地(市)级的三级地质环境监测与管理部门体系,投入了大量人力、物力,广泛开展地质环境调查工作,全面收集了基础的地质环境数据,建设了完善的地质环境监测网络,实现了对重点对象监测数据的实时采集和传输。随着时间推移,这些地质环境调查数据和监测数据经不断积累已达到了一定的规模,现有的地质环境信息处理系统已经无法有效地对这些数据进行有效的分析和深入的挖掘。主要存在以下问题:(1)上级部门和下级部门、以及平级部门的所用的数据存放平台各异,数据存放很分散且数据格式也不统一,难以实现上下级以及平级部门之间数据的共享;(2)下级部门在形成上报数据的过程中,人工参与比较多,效率不高且容易造成上下级部门之间数据的不一致:(3)地质环境数据量变得越来越庞大,在检索并分析地质环境调查数据以及地质环境监测数据时,大量的查询、连接、聚合运算操作耗时巨大,分析效率低至无法忍受:(4)对地质环境调查及监测数据的分析和评估的手段还不够丰富,没有充分地利用丰富的海量历史数据来对其内部价值进行深入的挖掘,难以找山数据后面隐藏的地质环境演变的规律和模式,也无法评估各类因素对地质环境变化的影响情况。因此,将分散地存放在不同部门的、不一致的海量地质环境调查及监测的历史数据进行抽取、转换后,有机地整合到统一的存储空间,为全方位地分析评估和深入挖掘提供数据源,拓展和发现对地质环境调查及监测数据进行分析评估的新手段,从而最大限度地分析和挖掘出海量数据后面所隐藏的地质环境对象演化演变的规律,为地质环境的评估和治理决策提供更加科学的依据,已经成为新时代地质环境监测及防治信息化建设的首要任务。本文的研究内容源自中国地质环境监测院的地质环境数据仓库建设项目,项目的建设目标是构建集成度更高的、可实现数据融合的地质环境数据仓库,并实现相应的辅助决策应用系统。本文对当前国内外地质环境数据分析和处理手段的现状、我国地质环境管理部门的行政组织结构及业务工作流程、地质环境历史调查和监测数据的分布情况、目前地质环境信息化和数据分析处理工作中存在的不足进行了全面的探讨。在此基础上,提出了一个构建地质环境数据仓库及辅助决策应用系统的完整解决框架。整个框架可对地质环境操作数据库中的数据进行重组,构建地质环境数据仓库及多维数据模型,并实现了数据从操作数据库到数据仓库的清理、转换和加载。同时,还设计和实现了对数据仓库中的数据进行联机分析处理及数据挖掘的算法及模块,为地质灾害预报预警、地下水监测与保护、矿山地质评估、资源承载力评估等各种决策工作提供了支持。本文的主要研究内容有:(1)提出并构建了一个地质环境数据仓库,并实现联机分析处理和数据挖掘功能的完整体系,由此形成了一套地质环境数据集成、分析、挖掘、展示的完整框架。涵盖了从数据的清理、转换和加载,到OLAP多维数据模型的构建及对数据的即时分析处理,再到地质环境数据的深入挖掘等实现数据仓库应用所需的各个环节,有效地提升了地质环境信息的分析和评估的机制,开拓了地质环境管理辅助决策的新途径。(2)在分析现有地质环境数据的分布状态及管理流程的基础上,对地质环境数据进行了整合,设计了地质环境数据仓库的体系结构,并按照“地质灾害监测与治理”、“地下水监测与保护”、“矿山地质环境评估与治理”、“地质遗迹调查与保护”、“地质环境及资源承载力综合评价”等不同的数据集市来组织和存储地质环境历史数据。(3)研究了一套地质环境数据仓库的性能优化方案,综合运用Bitmap索引、分区管理、以及异步CDC增量抽取策略等多种手段,有效地提高了地质环境数据仓库的检索、分析效率。(4)研究构建地质环境多维分析体系的方法,设计、实现多种地质环境多维数据立方,并提供前端系统来实现灵活的联机分析处理。(5)研究基于地质环境数据仓库的数据挖掘模型,深入发现海量地质环境数据下隐藏的规律和模式,设计基于支持向量机的地质灾害时间序列预测、基于神经网络的地下水水质评价、基于综合指数分析法的矿山地质环境评估,基于综合指数分析法的自然资源环境承载力评估等数据挖掘算法。(6)研究、设计了多平台联机分析处理和数据挖掘前端系统的方案,实现了通过Web浏览器、智能手机、平板电脑都可访问地质环境数据仓库的灵活的前端系统,为地质环境数据仓库提供丰富的、直观的用户接口。论文的主要特色和创新点有:①提出并构建了集地质环境数据集成、分析、挖掘、展示为一体的地质环境数据仓库体系,系统地变革了地质环境数据分析的机制,提高了决策效率。②设计了综合运用索引、分区、增量抽取等多种策略的地质环境数据仓库性能优化方案,有效提高了数据仓库的运行效率。③为地质环境数据仓库提供了可在多种平台使用的、丰富灵活的前端系统接口,使数据仓库中的数据获得更加多样的使用途径。论文的不足有:①联机分析处理所使用的Mondrian平台虽然有着很好的移植性,但是在内存分配和处理上还存在着一定的缺陷,而且很难对内部实现细节进行调整。②由于研究时间有限,以及许多业务领域的数据还未汇集完整的原因,没有进一步提出更多的许多数据挖掘算法,并在地质环境数据仓库中加以验证和比较。总之,地质环境数据仓库及其联机分析处理和数据挖掘系统的出现,是地质环境数据处理方式的必然变革,也必定会提高地质环境管理和决策的科学性和效率。
其他文献
近年来,在国家政策开放和大数据、云计算、互联网技术飞速发展的环境下,国内供应链金融迎来了良好的发展契机。作为一种新型的金融服务模式,互联网供应链金融通过互联网平台
车辆的跟驰行为是车辆行驶中的常见驾驶行为之一,特定的驾驶人由于其跟车过程中心理感知等因素的差异,其行车车距和相对速度等安全范围均不同。如果能够对驾驶人的这种跟车特
目的观察注射用硫普罗宁对病毒性肝炎的临床疗效。方法在综合治疗的基础上,采用注射用硫普罗宁加人葡萄糖注射液或生理盐水中静脉脉滴注,1次/d,连续用药4周。结果患者症状体
在不同功率密度下用激光冲击方法对304奥氏体不锈钢表面进行强化,利用X射线衍射仪、扫描电镜和显微硬度计表征了不锈钢的表面组织和性能。激光冲击令奥氏体不锈钢表面形成了
人教版高中《生物》(必修)第一册的注解有:淀粉在淀粉酶的作用下能够水解成麦芽糖、葡萄糖。而在原来的旧教材中的表述为:淀粉在淀粉酶的作用下水解成麦芽糖。那么淀粉到底在淀粉
目的探讨黄芩苷能否消除鲍曼不动杆菌质粒,并影响抗菌药物对细菌的最低抑菌浓度(MIC)。方法测定黄芩苷处理的鲍曼不动杆菌生长曲线。16株庆大霉素和环丙沙星双重耐药的鲍曼不
国外人力资源服务业经过了100多年的发展历程,在其发展的早期和很长一段时间里,由于经营不规范和违法行为,国际社会和很多国家的政府对其是持否定、甚至禁止的态度。为了生存
<正>我今年48岁,患有慢性前列腺炎已经5年了,病情时好时坏。5个月前,有位朋友建议我使用麝香胡椒外敷方进行治疗。我试着使用此方治疗了半个月病情就得到了明显的缓解,尿频尿
喷射式制冷系统主要包括加热器、喷射器、冷凝器、蒸发器以及膨胀阀和循环水泵等设备。由于其具有构造简单、造价低廉、运行可靠、操作方便和节约能源等优点而被人们所青睐。
<正>随着地产行业竞争的日益激烈,购房者专业眼光的提升,行业呼唤有品质的地产,品质地产呼唤物业管理的延伸。经济学家徐滇庆称,在银行将贷款门槛提升到35%之后,大概有20%~30%