论文部分内容阅读
摘要：大数据不仅使世界认识到数据的重要性，更引发了许多行业从根本上的变革。大数据时代也对GIS提出了诸多挑战，如海量、多源、异构数据的存储与管理以及面对大量噪音的价值挖掘等。该文主要介绍了GIS當前的发展现状及瓶颈，探讨了GIS在大数据时代下的数据采集、数据存储与管理及数据分析和挖掘所面临的问题和初步的解决办法，展望GIS在大数据时代下的发展前景。
关键词：GIS；大数据；空间数据
1 什么是大数据
大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。大数据有4V特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）[1]。
大数据技术的进步必将对世界产生巨大的推动作用，同时人们的观念也要发生改变。维克托·迈尔-舍恩伯格认为，在大数据时代人们将发生三个巨大的思维变革：①人们对数据的操作不再是针对随机的样本，而是面对全体的数据；②人们不再过多地要求数据的精准性，而是需要数据纷繁复杂，种类多样；③人们不再追求事物的因果关系，转而关注数据之间的相关关系。这种观念上的改变会随着大数据的发展而逐渐作用于各个行业中，对整个人类社会的发展产生巨大的推动作用。
2 大数据时代下GIS的发展
2.1传统GIS所面临的挑战
随着GIS向着数据标准化、数据多维化、系统集成化、系统智能化、平台网络化和应用社会化（数字地球）的方向不断发展，传统GIS由二维逐渐向三维GIS（包括二三维一体化）、时态GIS、网络GIS和移动GIS推进，但随着大数据时代的来临，管理的数据量越来越大、种类越来越多、数据结构越来越复杂，暴露出的问题也越来越多，如对计算机及存储硬件要求更苛刻、数据分析处理技术及数据挖掘技术更高、三维仿真与虚拟现实技术与无线通讯技术结合等等。
2.2大数据时代下GIS的数据采集
大数据GIS的数据形式多样，主要有地图数字化、遥感影像、传感器实时监测设备、RFID设备、历史资料等媒介产生的各种数据。首先，由于大数据源的种类各异，获取数据的方法也各不相同，在运用GIS对大数据进行采集识别过程中，需要建立多源数据的关联和识别模型、多源多态数据的自动识别方法等，同时将不同来源、不同形式的大数据综合分析，以多角度、全面地描述事物对象。其次，需要建立完善的正确性条件和约束性规则以确保数据的完整性和同一性。最后， 建立数据监管部门，以确保数据的真实性。
2.3大数据时代下GIS的数据存储与管理
存储是分析的基础，管理是挖掘的保障，随着数据量的增加，数据的存储和管理也需要发生从量变到质变的改进。海量的数据虽然可以为分析和挖掘提供丰富的数据来源使分析和挖掘更加准确和全能，但是也对数据的存储和管理提出了新的要求。分布式的存储和管理是处理大数据的一个基本的思路。在数据库与应用层之间建立良好的接口：大数据环境下的存储与管理软件栈，需要从上层应用中读取PB甚至EB量级的数据，同时还需使上层应用能够快速、准确、高效地访问数据库的各个节点以读取数据，建立良好的访问接口是必不可少的[2]。而数据在数据层和应用层之间的流动过程中必须保证其正确性和准确性，则需要建立数据评价模型和数据保障模型以确保数据的可用性。
2.4大数据时代下GIS的数据分析及挖掘
传统的空间数据虽然具备大数据的属性，但是由于缺乏足够的大数据的理论支撑，空间数据并不像如今的大数据时代所提到的大数据那样的全能。其主要功能是用于展示和描述性分析，在预测分析和决策支持的相关方面比较弱势。而在大数据时代，建立在相关关系分析法基础上的预测是大数据的核心，同时人们需要从传统的决策模式过渡到数据指导决策的新的模式中，在大数据持续发展的过程中，会渐渐地进化为数据即决策的行为模式[3]。同时随着智慧城市、智慧地球等概念的兴起和推广，遥感数据、卫星航图影像数据随着技术的更新而日益增加，传感器数据随着时间的推移不断的累积，GIS的数据越来越多，然而与之相对应的是现在GIS行业面临着一个问题：“数据庞杂，知识匮乏”。即人们拥有很多的数据，但是缺乏从数据中提取出来用于预测和决策支持的相关知识。在数据库知识发现兴起之后，随着数据挖掘技术的不断发展，人们将陆续从GIS 庞大的数据库中挖掘出相关的知识用于指导实践。
2.5大数据与GIS空间分析
空间模型是传统空间分析重要思想，它考虑的是如何建立一个更高精度的数学模型。区别于传统GIS空间分析，大数据GIS更多关注从不同空间或者时间尺度上挖掘数据中隐含的规则或知识。为了克服大数据的不确定性，在进行GIS空间分析时应尽可能地使用多源数据，并对多源数据进行融合，以充分发挥大数据所隐含的信息优势。大数据GIS的空间分析需要具备空间建模功能，还应具备挖掘新模式、新知识、新规律的能力。
3结语：
总之，大数据时代，GIS面临着以下挑战和机遇：超大规模数据的高效管理，其中包括数据管理体系和架构、流数据的实时处理和分析以及历史数据和模式的高效查询和分析。针对大量数据噪音多及数据不确定性大的特性，需要重新思考空间统计模型的选择、参数的训练和使用及计算效率等问题。面对全体数据，需要发展适合的空间数据挖掘算法，发现数据背后所隐藏的模式和价值。高效地显示和分析超大规模的时空数据，发展与地理计算相结合的可视分析理论。大数据GIS需要一整套系统、科学的理论和方法来应对大数据带来的挑战。
参考文献
[1]李清泉，李德仁.大数据GIS[J].武汉大学学报（信息科学版），2014，6（39）：641-644.
[2]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.
[3]王树良，丁刚毅，钟鸣.大数据下的空间数据挖掘思考[J].中国电子科学研究院学报，2013，8（1）：8-17.
作者简介：
叶勇超（1994.7.20-）男，汉族，身份证号：412727199407206519，本科生，河南省周口市，研究方向：地理信息科学.
赵琪（1996.11.02-）男，汉，身份证号：142726199611021237，本科生，山西省运城市，研究方向：地理信息科学
关键词：GIS；大数据；空间数据
1 什么是大数据
大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。大数据有4V特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）[1]。
大数据技术的进步必将对世界产生巨大的推动作用，同时人们的观念也要发生改变。维克托·迈尔-舍恩伯格认为，在大数据时代人们将发生三个巨大的思维变革：①人们对数据的操作不再是针对随机的样本，而是面对全体的数据；②人们不再过多地要求数据的精准性，而是需要数据纷繁复杂，种类多样；③人们不再追求事物的因果关系，转而关注数据之间的相关关系。这种观念上的改变会随着大数据的发展而逐渐作用于各个行业中，对整个人类社会的发展产生巨大的推动作用。
2 大数据时代下GIS的发展
2.1传统GIS所面临的挑战
随着GIS向着数据标准化、数据多维化、系统集成化、系统智能化、平台网络化和应用社会化（数字地球）的方向不断发展，传统GIS由二维逐渐向三维GIS（包括二三维一体化）、时态GIS、网络GIS和移动GIS推进，但随着大数据时代的来临，管理的数据量越来越大、种类越来越多、数据结构越来越复杂，暴露出的问题也越来越多，如对计算机及存储硬件要求更苛刻、数据分析处理技术及数据挖掘技术更高、三维仿真与虚拟现实技术与无线通讯技术结合等等。
2.2大数据时代下GIS的数据采集
大数据GIS的数据形式多样，主要有地图数字化、遥感影像、传感器实时监测设备、RFID设备、历史资料等媒介产生的各种数据。首先，由于大数据源的种类各异，获取数据的方法也各不相同，在运用GIS对大数据进行采集识别过程中，需要建立多源数据的关联和识别模型、多源多态数据的自动识别方法等，同时将不同来源、不同形式的大数据综合分析，以多角度、全面地描述事物对象。其次，需要建立完善的正确性条件和约束性规则以确保数据的完整性和同一性。最后， 建立数据监管部门，以确保数据的真实性。
2.3大数据时代下GIS的数据存储与管理
存储是分析的基础，管理是挖掘的保障，随着数据量的增加，数据的存储和管理也需要发生从量变到质变的改进。海量的数据虽然可以为分析和挖掘提供丰富的数据来源使分析和挖掘更加准确和全能，但是也对数据的存储和管理提出了新的要求。分布式的存储和管理是处理大数据的一个基本的思路。在数据库与应用层之间建立良好的接口：大数据环境下的存储与管理软件栈，需要从上层应用中读取PB甚至EB量级的数据，同时还需使上层应用能够快速、准确、高效地访问数据库的各个节点以读取数据，建立良好的访问接口是必不可少的[2]。而数据在数据层和应用层之间的流动过程中必须保证其正确性和准确性，则需要建立数据评价模型和数据保障模型以确保数据的可用性。
2.4大数据时代下GIS的数据分析及挖掘
传统的空间数据虽然具备大数据的属性，但是由于缺乏足够的大数据的理论支撑，空间数据并不像如今的大数据时代所提到的大数据那样的全能。其主要功能是用于展示和描述性分析，在预测分析和决策支持的相关方面比较弱势。而在大数据时代，建立在相关关系分析法基础上的预测是大数据的核心，同时人们需要从传统的决策模式过渡到数据指导决策的新的模式中，在大数据持续发展的过程中，会渐渐地进化为数据即决策的行为模式[3]。同时随着智慧城市、智慧地球等概念的兴起和推广，遥感数据、卫星航图影像数据随着技术的更新而日益增加，传感器数据随着时间的推移不断的累积，GIS的数据越来越多，然而与之相对应的是现在GIS行业面临着一个问题：“数据庞杂，知识匮乏”。即人们拥有很多的数据，但是缺乏从数据中提取出来用于预测和决策支持的相关知识。在数据库知识发现兴起之后，随着数据挖掘技术的不断发展，人们将陆续从GIS 庞大的数据库中挖掘出相关的知识用于指导实践。
2.5大数据与GIS空间分析
空间模型是传统空间分析重要思想，它考虑的是如何建立一个更高精度的数学模型。区别于传统GIS空间分析，大数据GIS更多关注从不同空间或者时间尺度上挖掘数据中隐含的规则或知识。为了克服大数据的不确定性，在进行GIS空间分析时应尽可能地使用多源数据，并对多源数据进行融合，以充分发挥大数据所隐含的信息优势。大数据GIS的空间分析需要具备空间建模功能，还应具备挖掘新模式、新知识、新规律的能力。
3结语：
总之，大数据时代，GIS面临着以下挑战和机遇：超大规模数据的高效管理，其中包括数据管理体系和架构、流数据的实时处理和分析以及历史数据和模式的高效查询和分析。针对大量数据噪音多及数据不确定性大的特性，需要重新思考空间统计模型的选择、参数的训练和使用及计算效率等问题。面对全体数据，需要发展适合的空间数据挖掘算法，发现数据背后所隐藏的模式和价值。高效地显示和分析超大规模的时空数据，发展与地理计算相结合的可视分析理论。大数据GIS需要一整套系统、科学的理论和方法来应对大数据带来的挑战。
参考文献
[1]李清泉，李德仁.大数据GIS[J].武汉大学学报（信息科学版），2014，6（39）：641-644.
[2]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.
[3]王树良，丁刚毅，钟鸣.大数据下的空间数据挖掘思考[J].中国电子科学研究院学报，2013，8（1）：8-17.
作者简介：
叶勇超（1994.7.20-）男，汉族，身份证号：412727199407206519，本科生，河南省周口市，研究方向：地理信息科学.
赵琪（1996.11.02-）男，汉，身份证号：142726199611021237，本科生，山西省运城市，研究方向：地理信息科学