面向生态灾害要素的网页数据挖掘

来源 :南昌大学 | 被引量 : 0次 | 上传用户:jack332904910
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网中的生态灾害信息异常丰富,主要包括气象、水旱、地震、地质、海洋五大灾害要素信息。但是,由于各个平台的生态灾害数据存储、数据定义等数据属性仅限在平台内部交流,不能做到有效的数据共享,数据之间无法建立联系,导致生态灾害数据“信息孤岛化”,遏制了其综合信息的分析与挖掘。针对这一现象,本文以生态灾害要素作为研究内容,从web网页中获取公开的的部分生态灾害要素数据,构建生态灾害要素数据共享库并进行可视化,为生态灾害的研究提供数据来源。这涉及的问题主要有三个:一是web网页中的生态灾害要要素来源广、类型复杂,如何有效从web网页中获取生态灾害要素数据并抽取所需数据属性;二是从web网页中获取到的生态灾害要素数据是多源异构的,难以统一管理,导致数据难以共享,如何统一存储管理多源异构生态灾害要素数据;三是生态灾害要素数据中的部分要素数据属于空间数据,具有明显的空间特征,如何将生态灾害要素中的空间数据进行可视化。针对以上问题,在项目“天空地多源数据融合的崩岗新型监测、预警方法与系统”的支持下,本文研究如何采用数据挖掘技术从web网页中获取公开的生态灾害要素数据,并构建生态灾害数据共享库以及对生态灾害要素中的空间数据进行可视化。本文主要研究工作如下。1、针对如何有效从web网页中获取生态灾害要素数据并抽取所需数据属性的问题,本文研究了基于网络爬虫的生态灾害要素发现方法,获取互联网中公开的属于气象、水旱、地震、地质、海洋五大生态灾害要素中的部分原始数据,并采用数据挖掘技术对其进行数据抽取以及数据清洗。2、针对如何统一存储管理从web网页中获取到的多源异构生态灾害要素数据的问题,目前采用基于分布式文件系统的方式来存储web网页中的异构数据,但是存在文件结构与应用紧耦合导致数据共享困难的问题。为此本文研究了采用基于数据库技术的方式,利用XML将异构生态灾害要素数据结构化,存储到My SQL数据库中,完成生态灾害数据共享库的构建,解决多源异构生态灾害要素数据难以统一管理的问题。同时基于构建好的数据共享库研究了采用克里金插值算法对气象数据中的气温属性进行预测分析。3、针对如何将生态灾害要素中的空间数据进行可视化的问题,目前使用商用GIS软件来对空间数据进行可视化,但是,维护成本高,并且其GIS数据并非完全能够转换和共享。为此本文研究了采用开源项目MapServer对生态灾害要素中的空间数据进行可视化,可以将空间数据进行转换和共享,解决了生态灾害要素中的空间数据可视化问题。基于以上研究工作,本文从web网页采集到了公开的部分生态灾害要素数据,构建了生态灾害数据共享库,基于该数据共享库采用克里金插值法对气象数据中的气温属性进行预测分析,以及采用MapServer将生态灾害要素中的空间数据进行可视化。在此基础上,完成了“天空地多源数据融合的崩岗新型监测、预警方法与系统”项目中的生态灾害要素数据采集、数据共享库构建和空间数据可视化这三个模块。这些研究工作为生态灾害的后续研究提供基础数据来源。
其他文献
雷达通信共享是为了解决传统通信雷达系统叠加时的资源短缺、成本高以及功能冲突等问题,其具有资源集约化和功能增强等优点。常见的共享方式有共享信号、天线、信道等软件或硬件资源,实现雷达探测成像等功能的同时不影响数据通信的功能。而其中利用波形实现雷达通信功能共享具有简化结构、节约频谱资源、避免产生大量电磁干扰、提高雷达系统和通信系统的工作效率等优点。正交频分复用(orthogonal frequency
航道水沙要素具有强时变、非线性、随机性等特征,大范围时空数据的快速获取是航道运行观测的难点。随着传感器、物联网、移动计算等技术的发展,基于船载传感器的航道水沙要素观测技术已经成为当前航道测量领域的重要研究方向。介绍了水上水下一体化船载测量系统研究现状,综合波浪、水流、泥沙等要素移动观测技术需求,分析了船载航道水沙要素传感器信息处理技术原理与特点,综述了航道水沙信息多源图像处理智能方法研究成果,展望
建筑行业是我国国民经济的支柱产业之一,其飞速发展推动了建筑幕墙行业的迅速增长,并至21世纪初使我国成为了世界第一幕墙生产大国和使用大国,而且现今越来越多自由曲面造型的建筑形体层出不穷,传统的二维技术已无法实现这类专业性极强,技术难度大的专业分项建筑工程,必须利用BIM技术来实现,但国内幕墙BIM技术针对异形建筑幕墙尚未有具体应用标准和成熟体系参考,所以解决异形建筑幕墙的全生命周期各阶段如何合理高效
在无线通信中,为了对抗无线信道衰落,尤其是远距离或者小区边缘用户信息传输中的信道衰落问题,扩大小区覆盖范围,中继辅助协作通信是非常有效的技术。近些年来,无人机(Unmanned Aerial Vehicle,UAV)在无线通信领域的研究引起了工业界和学术界的关注,将无人机和无线中继技术结合起来,能够进一步提升无线通信的性能。无人机具有机动性,配置灵活和高成本效益(cost-effeciency)等
无机发光二极管微显示(LED微显示,即LED microdisplay)技术被认为是新一代显示技术,近年来,以微米尺寸发光二极管(即micro-LED)技术为主的LED微显示器以其高动态范围、高对比度、高亮度、长寿命和低功耗等优点而迅速发展。目前,氮化镓材料体系发光二极管仍然存在着大电流密度下外量子效率下降问题(Efficiency Droop),因此如何提高其发光效率成为了研究的重点,另一方面,
2021年是教育改革巨变的一年。“双减”政策落地,在行业内掀起巨大风波,部分大型教育机构为了更好地生存开启裁员降薪模式,转型寻找生机。如今,在线教育行业徘徊于“十字路口”,如何在“双减”政策下开辟出新的、正确的路径是整个行业共同面对的难题。2021年下半年,教育界最热词不过“双减”。去年5月21日,中央全面深化改革委员会第十九次会议上审议通过了《关于进一步减轻义务教育阶段学生作业负担和校外培
期刊
全频段通信是未来无线通信的发展主要方向之一。其中,基于LED的可见光通信(VLC)技术有望在较低成本和能耗下实现室内通信和照明的复用,且具有高安全性、无EM干扰、宽频带等优势。照明用多基色混合白光LED发射功率较高,调制信噪比高,且具有多个波长的独立调制信道,适用于高速VLC系统,但是存在如下困难和挑战:基于结电容、时间常数等简单参数的交流小信号模型不能充分反映LED的调制特性,导致VLC系统发射
当前基于卫星平台的辐射源无源定位技术主要分为测向交叉定位技术和多站时差定位技术,其中测向交叉定位技术受辐射源信噪比影响较大,当信噪比较低时,定位精度不高;多站时差定位技术需要设立特定的数据融合中心分析处理定位数据,且受到时间同步、星间组网及数据交互的限制,实现复杂成本高。针对上述问题,本文借鉴超综合孔径成像测量原理,并利用辐射源的空域稀疏特性,提出基于虚拟大孔径的压缩感知近场定位方法,该方法利用阵
高效率、高可靠性的远距离水下无线视频传输具有重要的应用。为了实现远距离的水下无线光通信,高灵敏度的单光子探测器被用于探测接收端微弱的光信号。但由于信道的衰减作用、光量子效应和噪声光子的存在,远距离的水下单光子通信中删除符号出现的概率较大而错误符号出现的概率很小,信道呈现出较强的删除特性和高误码性。字典学习(Dictionary Learning,DL)是一种稀疏表示算法,可高效应用于视频和图像压缩
信道作为雷达系统中组要组成部分,对它的研究是必不可少的,星载信道属于时变信道,研究并模拟其传输特性,不仅具有理论意义,而且具有实用价值。对于信道模型的研究,人们做了大量的工作,建立了贴近实际信道的模型,以及在此基础上做出的信道仿真器,这是雷达系统研发中,比较重要的一部分。其中基于软件无线电的星载雷达备受关注,国外多年前就已经着手研究,已取得不错成果。然而国内起步较晚,对这方面的研究基本处于空白。本