论文部分内容阅读
[摘 要]国土资源是我国基础国情信息,也是国民经济与社会发展的前提。大数据成为继云计算与物联网之后信息领域研究的重点。笔者以大数据技术及数据挖掘为切入点,详细分析国土资源信息化应用,以供同行借鉴。
[关键词]大数据技术;国土资源;信息化应用
中图分类号:TP751 文献标识码:A 文章编号:1009-914X(2018)42-0397-01
随着科学技术的不断发展,信息社会已经到来。国土资源管理必须更新管理观念,创新技术手段,使工作简单化、易于安排和总结,还是加快新时期国土资源信息化建设的迫切需要。推进国土资源信息化建设,我们不仅可以做出科学的决策,提高工作效率,而且可以强化政务公开、依法行政能力,提高政府宏观调控能力,最终实现科学化、现代化的国土资源工作,从而使国家的土地资源得到合理开发和利用。
1大数据与数据挖掘技术
1.1大数据
通常可以将大数据定义为在一定的时间范围内,无法使用常规软件工具完成捕捉、管理以及处理的数据集合[1]。在大数据中有两个重要的内容就是海量的数据信息和高强度的数据处理能力,这两个重要内容也是相对于传统的数据处理系统最明显的优势。利用大数据技术可以完成对大型复杂数据模块的高效分析,其中具体包括数据的收集、分析、共享以及传输等。
1.2数据挖掘技术
数据挖掘技术是基于计算机技术的新型学科,其起源于20世纪80年代。当时的数据挖掘在本质上跟现在有较大的区别。科研工作者对大数据的研究最初只是为了推动人工智能技术的发展。在技术层面上,可以将数据挖掘技术理解为发掘创新数据的过程。
2国土资源信息化建设中大数据技术的作用
2.1解决系统衔接问题
目前,数据库与业务类型之间缺少有效的业务数据模型是当前国土资源大数据系统面临的最主要的问题,导致在实际应用中无法全部调用系统中的全部数据。而本文中的国土资源大数据系统其实是数据和智能分析的集成,主要是通过建立能够支持业务应用的数据来支持多应用数据主体应用服务的应用。
2.2提高数据处理效率
通过大数据技术的应用,我国当前国土资源信息库与常规轨迹数据得到进一步完善。但当前要解决的问题是,这些完善的信息和数据之间联系不紧密,有些甚至还处于一种完全独立的状态。而且这些数据之间的孤立问题一定程度上影响了数据质量,延长了人们掌控这些数据的时间,而且,利用现有信息技术融合信息还存在很大的难度。
2.3进一步挖掘数据
借助大数据技术可以实现国土资源数据的有效分析,同时完成数据挖掘与关系推演[2]。充分利用大数据技术的处理能力,自动完成构建数据关系的结构,这种基于引擎的构筑方法在实际中有着广泛应用。特别是当前国土资源业务内容与种类不断增加,还可以采用其他方法,实现数据挖掘与路径推演,达成充分利用数据的目的。
2.4达到人机互动目的
随着国土资源部门逐渐实现信息化,对工作人员提出更高的信息化水平要求,如果工作人员技术不足,会对系统使用效率产生不利影响,这也是目前国土资源行业中存在大量信息系统,但是工作效率依旧未得到大幅度提升的根本原因。因此,要保证国土资源大数据系统负荷人的认知模型,在可视化条件下完成相关工作,提高工作效率与质量。
3构建国土资源大数据应用平台的措施
3.1算法分析
3.1.1神经网络算法
神经网络系统由众多的神经元构成,而神经元之间通过可调节的连接权值连接形成,整个神经网络系统具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。神经网络是基于神经单元大集合的一种计算方法,可以有效解决由轴突连接的生物神经元的大群集的问题。由于神经单元之间具有一定的连接方式,因此,单一的神经元可以对所连接的神经单元的激活状态产生一定的抑制作用。
3.1.2灰色关联度分析
灰色关联度分析也是一种常用的大数据算法的分析方式,主要根据因素之间发展趋势的相同性或者不同性,进行一定的归纳和评价。灰色关联度分析方式作为衡量因素之间关联度的方法,具有特定的信息概念。
3.2平台设计
虚拟化的发展为云技术和大数据的技术发展提供了基础,使云平台的建设更加顺畅。利用此技术,能够有效实现数据资源的集成,同时加强高质量的数据处理和存储。通过智能设备,合理地将资源分配给服务器,最终实现系统的不断优化和改进。
3.2.1平台层
大数据分布式存储系统通过对大规模数据结构的存储,以及大型数据的存储和管理,完成对数据的高效处理,为保证各项科研活动的顺利开展,应保证数量级大部分在PB级以上。
3.2.2功能层
在功能层面,可以利用扩展算法的方式完成数据的挖掘工作,通过使用TB级的数据建立模型,完成云计算以及分布的调度处理,同时利用负载的均衡技术,提升分布处理能力,实现高效的数据处理。
3.2.3服务层
在服务层采用基于Web与OpenAPI的大数据挖掘处理技术,通过对大数据的环境进行分析,对端口的管理与流程进行优化,保证端口的智能配置和数据交换,使大数据的共享科学合理简洁化。由于服务层属于高级别管理层次,为保证数据的高效交换,需要加强对输入输出的合理控制。
3.3建设大数据资源体系的方法
3.3.1数据采集方法
建设国土资源大数据的关键就在于数据采集,而国土资源数据的采集形式多样,随着科学技术的发展,文本、视频、传感器也被广泛应用于数据采集中,融汇在一起组成了海量异构的数据源。随着大数据技术的广泛应用,我国对国土资源大数据的采集也由传统方式过渡到大数据手段,利用无人机采集高分辨率的影像,利用数字远程视频传输监控破坏国土资源的非法行为,利用移动终端现场数据采集系统为国土资源监管提供最新动态信息。
3.3.2数据整理要点
数据清理与整合的目标就是借助合理方式,将各类国土资源数据与信息处理整合成可以使用的数据库与数据集。(1)抽取数据,将数据源中可以分析处理的数据抽取出来;(2)所采集的数据并不是全部有用的,需要将部分没有价值的数据“清洗”掉,依据信息种类制订不同的“清洗”方案。
3.3.3存储管理工作
随着国土资源工作内容增加及时间推移,相關数据数量呈现爆炸式的增加,需要根据数据类型与结构完成存储与管理工作,同时自身还要具有可扩展性以适应可能出现的情况。与传统方法相比,大数据资源系统具有较大的数据吞吐流量、新的存储架构及文件系统,通过针对性的数据要求设计相应的数据库,进而达到提高数据处理质量的目的。
结语
总而言之,数据逐渐成为组织财富与创新的基础,大数据推进智能社会建设。作为一门新兴学科,大数据在很多领域得到广泛应用。国土信息化建设过程中,有效结合国土资源知识与大数据技术,做好科学分析利用,推动国土资源事业稳步发展。
参考文献
[1]黄任羽.国土资源信息化建设的思考探究[J].网络安全技术与应用,2017(06):133+140.
[2]马永强.浅析国土资源的信息化建设——以河南新乡地区为例[J].现代盐化工,2017,44(02):67-68.
[关键词]大数据技术;国土资源;信息化应用
中图分类号:TP751 文献标识码:A 文章编号:1009-914X(2018)42-0397-01
随着科学技术的不断发展,信息社会已经到来。国土资源管理必须更新管理观念,创新技术手段,使工作简单化、易于安排和总结,还是加快新时期国土资源信息化建设的迫切需要。推进国土资源信息化建设,我们不仅可以做出科学的决策,提高工作效率,而且可以强化政务公开、依法行政能力,提高政府宏观调控能力,最终实现科学化、现代化的国土资源工作,从而使国家的土地资源得到合理开发和利用。
1大数据与数据挖掘技术
1.1大数据
通常可以将大数据定义为在一定的时间范围内,无法使用常规软件工具完成捕捉、管理以及处理的数据集合[1]。在大数据中有两个重要的内容就是海量的数据信息和高强度的数据处理能力,这两个重要内容也是相对于传统的数据处理系统最明显的优势。利用大数据技术可以完成对大型复杂数据模块的高效分析,其中具体包括数据的收集、分析、共享以及传输等。
1.2数据挖掘技术
数据挖掘技术是基于计算机技术的新型学科,其起源于20世纪80年代。当时的数据挖掘在本质上跟现在有较大的区别。科研工作者对大数据的研究最初只是为了推动人工智能技术的发展。在技术层面上,可以将数据挖掘技术理解为发掘创新数据的过程。
2国土资源信息化建设中大数据技术的作用
2.1解决系统衔接问题
目前,数据库与业务类型之间缺少有效的业务数据模型是当前国土资源大数据系统面临的最主要的问题,导致在实际应用中无法全部调用系统中的全部数据。而本文中的国土资源大数据系统其实是数据和智能分析的集成,主要是通过建立能够支持业务应用的数据来支持多应用数据主体应用服务的应用。
2.2提高数据处理效率
通过大数据技术的应用,我国当前国土资源信息库与常规轨迹数据得到进一步完善。但当前要解决的问题是,这些完善的信息和数据之间联系不紧密,有些甚至还处于一种完全独立的状态。而且这些数据之间的孤立问题一定程度上影响了数据质量,延长了人们掌控这些数据的时间,而且,利用现有信息技术融合信息还存在很大的难度。
2.3进一步挖掘数据
借助大数据技术可以实现国土资源数据的有效分析,同时完成数据挖掘与关系推演[2]。充分利用大数据技术的处理能力,自动完成构建数据关系的结构,这种基于引擎的构筑方法在实际中有着广泛应用。特别是当前国土资源业务内容与种类不断增加,还可以采用其他方法,实现数据挖掘与路径推演,达成充分利用数据的目的。
2.4达到人机互动目的
随着国土资源部门逐渐实现信息化,对工作人员提出更高的信息化水平要求,如果工作人员技术不足,会对系统使用效率产生不利影响,这也是目前国土资源行业中存在大量信息系统,但是工作效率依旧未得到大幅度提升的根本原因。因此,要保证国土资源大数据系统负荷人的认知模型,在可视化条件下完成相关工作,提高工作效率与质量。
3构建国土资源大数据应用平台的措施
3.1算法分析
3.1.1神经网络算法
神经网络系统由众多的神经元构成,而神经元之间通过可调节的连接权值连接形成,整个神经网络系统具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。神经网络是基于神经单元大集合的一种计算方法,可以有效解决由轴突连接的生物神经元的大群集的问题。由于神经单元之间具有一定的连接方式,因此,单一的神经元可以对所连接的神经单元的激活状态产生一定的抑制作用。
3.1.2灰色关联度分析
灰色关联度分析也是一种常用的大数据算法的分析方式,主要根据因素之间发展趋势的相同性或者不同性,进行一定的归纳和评价。灰色关联度分析方式作为衡量因素之间关联度的方法,具有特定的信息概念。
3.2平台设计
虚拟化的发展为云技术和大数据的技术发展提供了基础,使云平台的建设更加顺畅。利用此技术,能够有效实现数据资源的集成,同时加强高质量的数据处理和存储。通过智能设备,合理地将资源分配给服务器,最终实现系统的不断优化和改进。
3.2.1平台层
大数据分布式存储系统通过对大规模数据结构的存储,以及大型数据的存储和管理,完成对数据的高效处理,为保证各项科研活动的顺利开展,应保证数量级大部分在PB级以上。
3.2.2功能层
在功能层面,可以利用扩展算法的方式完成数据的挖掘工作,通过使用TB级的数据建立模型,完成云计算以及分布的调度处理,同时利用负载的均衡技术,提升分布处理能力,实现高效的数据处理。
3.2.3服务层
在服务层采用基于Web与OpenAPI的大数据挖掘处理技术,通过对大数据的环境进行分析,对端口的管理与流程进行优化,保证端口的智能配置和数据交换,使大数据的共享科学合理简洁化。由于服务层属于高级别管理层次,为保证数据的高效交换,需要加强对输入输出的合理控制。
3.3建设大数据资源体系的方法
3.3.1数据采集方法
建设国土资源大数据的关键就在于数据采集,而国土资源数据的采集形式多样,随着科学技术的发展,文本、视频、传感器也被广泛应用于数据采集中,融汇在一起组成了海量异构的数据源。随着大数据技术的广泛应用,我国对国土资源大数据的采集也由传统方式过渡到大数据手段,利用无人机采集高分辨率的影像,利用数字远程视频传输监控破坏国土资源的非法行为,利用移动终端现场数据采集系统为国土资源监管提供最新动态信息。
3.3.2数据整理要点
数据清理与整合的目标就是借助合理方式,将各类国土资源数据与信息处理整合成可以使用的数据库与数据集。(1)抽取数据,将数据源中可以分析处理的数据抽取出来;(2)所采集的数据并不是全部有用的,需要将部分没有价值的数据“清洗”掉,依据信息种类制订不同的“清洗”方案。
3.3.3存储管理工作
随着国土资源工作内容增加及时间推移,相關数据数量呈现爆炸式的增加,需要根据数据类型与结构完成存储与管理工作,同时自身还要具有可扩展性以适应可能出现的情况。与传统方法相比,大数据资源系统具有较大的数据吞吐流量、新的存储架构及文件系统,通过针对性的数据要求设计相应的数据库,进而达到提高数据处理质量的目的。
结语
总而言之,数据逐渐成为组织财富与创新的基础,大数据推进智能社会建设。作为一门新兴学科,大数据在很多领域得到广泛应用。国土信息化建设过程中,有效结合国土资源知识与大数据技术,做好科学分析利用,推动国土资源事业稳步发展。
参考文献
[1]黄任羽.国土资源信息化建设的思考探究[J].网络安全技术与应用,2017(06):133+140.
[2]马永强.浅析国土资源的信息化建设——以河南新乡地区为例[J].现代盐化工,2017,44(02):67-68.