论文部分内容阅读
[摘 要]随着科技的快速发展，自动化和信息化的大范围应用，遥感数据的获取能力也在不断提高，数据的信息量逐渐呈现多元化和海量化，这就对遥感影响分析和海量数据处理技术造成了冲击。为了满足遥感大数据的处理需求，发展遥感大数据自动分析和信息挖掘的研究已成为世界性的问题。本文主要分析遥感大数据自动分析和数据挖掘技术的研究进展，并对其发展进行了探讨。
[关键词]遥感大数据；表达；检索；理解；数据挖掘
中图分类号：C37 文献标识码：A 文章编号：1009-914X（2015）18-0267-01
1.大数据和遥感大数据
随着信息化时代的到来，数据呈现暴涨模式，人们将非结构化或半结构化的不能使用传统数据处理方法进行处理的数据叫做大数据。大数据因为信息含量大，解读困难等原因使得它的价值无法估量。
对地观测技术越来越成熟，遥感技术的信息获取越来越快，使得遥感数据也表现出了大数据的特征，数据的类型越来越复杂，时效性越来越强。虽然遥感信息在不断增加但遥感信息的处理能力却不能同步。遥感大数据内包含对地表的全方位的知识，解读遥感大数据的根本目的是掌握数据后的知识和隐藏的规律。由此可见进行遥感大数据的自动分析研究是十分必要的。
2.遥感大数据的自动分析
2.1 遥感大数据的表达
研究内容主要包括：
（1）遥感大数据的多元离散特征提取：在大数据的框架下，需要研究多分辨率、多数据源、多时空谱的遥感影像特征提取，形成遥感大数据在不同传感器节点的离散、多元特征提取方法。
（2）遥感大数据多元特征的归一化表达：遥感大数据的特征提取需要考虑多元离散特征的融合和降维。特征融合旨在把多元特征统一到同一个区分特征空间中，用数据变换的方式将不同源、不同分辨率的离散特征同化到大数据的应用空间。同时，多元特征的维数分析目的在于将遥感大数据的高维混合特征空间进行维数减少，形成归一化的低维特征节点和数据流形，以提高大数据处理的效率。
2.2 遥感大数据的检索
（1）场景检索服务链的建立：由于遥感图像描述的是地表信息，不存在明确或单一的主题信息，而传感器和成像条件的多样化又导致了遥感图像的多样化，因此，需要在遥感影像语义特征提取、目标识别、场景识别与自主学习的基础上，针对不同类型遥感数据的特点，建立适合数据类型与用于需求的场景检索服务链，获取不同类型遥感数据所共有的地学知识，为检索多源异质数据提供知识基础。
（2）融入用户感知信息的知识更新方法：相关反馈技术作为一种监督的自主学习方法，是基于内容的图像检索中提高图像检索性能的重要手段。相关反馈是一种通过用户对检索结果的反馈，把低层次特征与高层语义进行实时关联的机制，其基本思想是：查询时，首先由系统对用户提供查询结果，然后用户反馈给系统其对于结果的满意程度，从而锻炼和提高系统的学习能力以模拟人类的对图像的感知能力，达到高层语义检索的目的。
2.3 遥感大数据的理解
为了实现遥感大数据的场景高层语义信息的高精度提取，在遥感大数据特征提取和数据检索的基础上，应主要研究以下内容：
（1）特征-目标-场景语义建模：为了实现遥感大数据的场景语义理解，克服场景理解中的语义鸿沟问题，需要发展从目标-场景关系模型、特征-视觉词汇-场景模型、特征-目标-场景一体化模型3个方向，研究特征-目标-场景的语义模型。
（2）遥感大数据的场景多元认知：以多源、多尺度等多元特征为输入，以特征-目标-场景语义模型为基础，研究遥感大数据的场景多元认知方法，提供多元化语义知识输出。
2.4 遥感大数据云
遥感云基于云计算技术将各种遥感信息资源进行整合，建立基于遥感云服务的新型业务应用与服务模式，提供面向公众的遥感资源一体化的地球空间服务。遥感云将各种空天地传感器及其获取的数据资源、数据处理的算法和软件资源以及工作流程等进行整合，利用云计算的分布式特点，将数据资源的存储、处理及传输等分布在大量的分布式计算机上，使得用户能快速地获取服务。Opens cloud是一个基于云计算的开放式遥感数据处理与服务平台，可以直接利用其虚拟Web桌面进行快速的遥感数据处理和分析。GeoSquare利用高效的服务链网络为用户提供输入输出管理工具来构建可视化的服务链模型进行遥感数据处理。
3 遥感大数据挖掘
3.1 遥感大数据挖掘过程
遥感大数据在进行挖掘时一般分为四步。第一，进行数据的获取和存储。将从不同传感器中获得的大量信息进行去噪、采样、过滤，将多源数据处理成数据集。第二对数据集进行处理和分析。一般是应用统计学方法进行数据的分类和分析，观察数据和数据类别之间存在的关系。第三，进行数据的挖掘工作。利用已有的数据处理方法对数据进行挖掘，寻找数据之间的内在联系和潜在信息以及知识和模式进行挖掘。第四，可视化。将这些挖掘出来的数据知识使用某种直观的方式表现出来，并且将里面包含的各种潜在知识进行串联整合，这样便于用户对此进行理解和利用。
3.2 遥感大数据和广义遥感大数据的综合挖掘
遥感大数据是地物在遥感成像传感器下的多粒度、多方位和多层次的全面反映。一方面，它能与GIS数据等其他空间大数据有较好的互补关系；另一方面，广义的遥感大数据应该包含所有的非接触式的成像数据，这些遥感大数据和广义遥感大数据的综合信息挖掘能揭示更多的地球知识和变化规律。随着智慧城市在中国和全世界的推广以及视频架构网的完善，视频监控头作为一种特殊的遥感传感器在城市的智慧安防、智慧交通和智慧城管中有大量应用。
但就目前的解读水平来说，是无法对该数据进行分析和解读的，反而是这些数据占据的大量的存储空间，所以我们急需将这些数据转变成知识，需要更先进的信息自动化分析和挖掘技术，需要时空视频数据的挖掘的新理论和新算法。时空分布的视频数据挖掘的目的不是进行简单的数据信息提取而是对信息的区分处理。将正常行为和异常行为区分，过滤正常行为数据，对可疑数据进行保留，这样就实现了海量数据的处理。时间维度和空间维度一直是神秘的和复杂的，这就造成了时空数据挖掘工作的难度。所以在进行时空数据挖掘时需要多种数据挖掘方法进行配合，还要利用多种理论进行指导，挖掘的内容主要是对时空分布的视频信息进行行为分析和在时间序列上的事件检测等。
3.3 遥感大数据挖掘的潜在应用
对遥感大数据内并不是只有地球的各种尺度变化，许多信息还是互相关联的，具有潜在的影响。对遥感大数据进行挖掘可以得到很多与遥感不相关的消息。对于夜光和战争的关系就是遥感大数据挖掘现在应用的表现。例如，借助美国国家海洋和大气管理局免费公布的相关卫星数据，可以绘制出169个国家的夜光趋势图，通过统计分析得到全球夜光波动指数，发现每年夜光波动程度与当年全球发生武装冲突数量的相关度很高，相关系数达到0.7以上。如果利用数据挖掘的方法把所有国家按照夜光波动进行分级，夜光波动最大的一类国家，在近20年内发生战争的几率为80%，夜光波动较大或者极大的53个国家中，有30个遭受战争侵扰。由此得出这样的结论，夜光的减少的原因一般是因为此地发生了战争或者是自然灾害，导致百姓流离。
参考文献
[1] 李德仁.遥感大数据自动分析与数据挖掘[J].测绘学报.2014.
[2] 袁德阳，聂娟，邓磊，杨典华，尹川.基于元数据的多源遥感影像数据库集成技术研究与实现[J].测绘科学.2012（03）.
[3] 李晖，肖鹏峰，冯学智，冯莉，王珂.基于向量场模型的多光谱遥感图像多尺度邊缘检测[J].测绘学报.2012（01）.
[关键词]遥感大数据；表达；检索；理解；数据挖掘
中图分类号：C37 文献标识码：A 文章编号：1009-914X（2015）18-0267-01
1.大数据和遥感大数据
随着信息化时代的到来，数据呈现暴涨模式，人们将非结构化或半结构化的不能使用传统数据处理方法进行处理的数据叫做大数据。大数据因为信息含量大，解读困难等原因使得它的价值无法估量。
对地观测技术越来越成熟，遥感技术的信息获取越来越快，使得遥感数据也表现出了大数据的特征，数据的类型越来越复杂，时效性越来越强。虽然遥感信息在不断增加但遥感信息的处理能力却不能同步。遥感大数据内包含对地表的全方位的知识，解读遥感大数据的根本目的是掌握数据后的知识和隐藏的规律。由此可见进行遥感大数据的自动分析研究是十分必要的。
2.遥感大数据的自动分析
2.1 遥感大数据的表达
研究内容主要包括：
（1）遥感大数据的多元离散特征提取：在大数据的框架下，需要研究多分辨率、多数据源、多时空谱的遥感影像特征提取，形成遥感大数据在不同传感器节点的离散、多元特征提取方法。
（2）遥感大数据多元特征的归一化表达：遥感大数据的特征提取需要考虑多元离散特征的融合和降维。特征融合旨在把多元特征统一到同一个区分特征空间中，用数据变换的方式将不同源、不同分辨率的离散特征同化到大数据的应用空间。同时，多元特征的维数分析目的在于将遥感大数据的高维混合特征空间进行维数减少，形成归一化的低维特征节点和数据流形，以提高大数据处理的效率。
2.2 遥感大数据的检索
（1）场景检索服务链的建立：由于遥感图像描述的是地表信息，不存在明确或单一的主题信息，而传感器和成像条件的多样化又导致了遥感图像的多样化，因此，需要在遥感影像语义特征提取、目标识别、场景识别与自主学习的基础上，针对不同类型遥感数据的特点，建立适合数据类型与用于需求的场景检索服务链，获取不同类型遥感数据所共有的地学知识，为检索多源异质数据提供知识基础。
（2）融入用户感知信息的知识更新方法：相关反馈技术作为一种监督的自主学习方法，是基于内容的图像检索中提高图像检索性能的重要手段。相关反馈是一种通过用户对检索结果的反馈，把低层次特征与高层语义进行实时关联的机制，其基本思想是：查询时，首先由系统对用户提供查询结果，然后用户反馈给系统其对于结果的满意程度，从而锻炼和提高系统的学习能力以模拟人类的对图像的感知能力，达到高层语义检索的目的。
2.3 遥感大数据的理解
为了实现遥感大数据的场景高层语义信息的高精度提取，在遥感大数据特征提取和数据检索的基础上，应主要研究以下内容：
（1）特征-目标-场景语义建模：为了实现遥感大数据的场景语义理解，克服场景理解中的语义鸿沟问题，需要发展从目标-场景关系模型、特征-视觉词汇-场景模型、特征-目标-场景一体化模型3个方向，研究特征-目标-场景的语义模型。
（2）遥感大数据的场景多元认知：以多源、多尺度等多元特征为输入，以特征-目标-场景语义模型为基础，研究遥感大数据的场景多元认知方法，提供多元化语义知识输出。
2.4 遥感大数据云
遥感云基于云计算技术将各种遥感信息资源进行整合，建立基于遥感云服务的新型业务应用与服务模式，提供面向公众的遥感资源一体化的地球空间服务。遥感云将各种空天地传感器及其获取的数据资源、数据处理的算法和软件资源以及工作流程等进行整合，利用云计算的分布式特点，将数据资源的存储、处理及传输等分布在大量的分布式计算机上，使得用户能快速地获取服务。Opens cloud是一个基于云计算的开放式遥感数据处理与服务平台，可以直接利用其虚拟Web桌面进行快速的遥感数据处理和分析。GeoSquare利用高效的服务链网络为用户提供输入输出管理工具来构建可视化的服务链模型进行遥感数据处理。
3 遥感大数据挖掘
3.1 遥感大数据挖掘过程
遥感大数据在进行挖掘时一般分为四步。第一，进行数据的获取和存储。将从不同传感器中获得的大量信息进行去噪、采样、过滤，将多源数据处理成数据集。第二对数据集进行处理和分析。一般是应用统计学方法进行数据的分类和分析，观察数据和数据类别之间存在的关系。第三，进行数据的挖掘工作。利用已有的数据处理方法对数据进行挖掘，寻找数据之间的内在联系和潜在信息以及知识和模式进行挖掘。第四，可视化。将这些挖掘出来的数据知识使用某种直观的方式表现出来，并且将里面包含的各种潜在知识进行串联整合，这样便于用户对此进行理解和利用。
3.2 遥感大数据和广义遥感大数据的综合挖掘
遥感大数据是地物在遥感成像传感器下的多粒度、多方位和多层次的全面反映。一方面，它能与GIS数据等其他空间大数据有较好的互补关系；另一方面，广义的遥感大数据应该包含所有的非接触式的成像数据，这些遥感大数据和广义遥感大数据的综合信息挖掘能揭示更多的地球知识和变化规律。随着智慧城市在中国和全世界的推广以及视频架构网的完善，视频监控头作为一种特殊的遥感传感器在城市的智慧安防、智慧交通和智慧城管中有大量应用。
但就目前的解读水平来说，是无法对该数据进行分析和解读的，反而是这些数据占据的大量的存储空间，所以我们急需将这些数据转变成知识，需要更先进的信息自动化分析和挖掘技术，需要时空视频数据的挖掘的新理论和新算法。时空分布的视频数据挖掘的目的不是进行简单的数据信息提取而是对信息的区分处理。将正常行为和异常行为区分，过滤正常行为数据，对可疑数据进行保留，这样就实现了海量数据的处理。时间维度和空间维度一直是神秘的和复杂的，这就造成了时空数据挖掘工作的难度。所以在进行时空数据挖掘时需要多种数据挖掘方法进行配合，还要利用多种理论进行指导，挖掘的内容主要是对时空分布的视频信息进行行为分析和在时间序列上的事件检测等。
3.3 遥感大数据挖掘的潜在应用
对遥感大数据内并不是只有地球的各种尺度变化，许多信息还是互相关联的，具有潜在的影响。对遥感大数据进行挖掘可以得到很多与遥感不相关的消息。对于夜光和战争的关系就是遥感大数据挖掘现在应用的表现。例如，借助美国国家海洋和大气管理局免费公布的相关卫星数据，可以绘制出169个国家的夜光趋势图，通过统计分析得到全球夜光波动指数，发现每年夜光波动程度与当年全球发生武装冲突数量的相关度很高，相关系数达到0.7以上。如果利用数据挖掘的方法把所有国家按照夜光波动进行分级，夜光波动最大的一类国家，在近20年内发生战争的几率为80%，夜光波动较大或者极大的53个国家中，有30个遭受战争侵扰。由此得出这样的结论，夜光的减少的原因一般是因为此地发生了战争或者是自然灾害，导致百姓流离。
参考文献
[1] 李德仁.遥感大数据自动分析与数据挖掘[J].测绘学报.2014.
[2] 袁德阳，聂娟，邓磊，杨典华，尹川.基于元数据的多源遥感影像数据库集成技术研究与实现[J].测绘科学.2012（03）.
[3] 李晖，肖鹏峰，冯学智，冯莉，王珂.基于向量场模型的多光谱遥感图像多尺度邊缘检测[J].测绘学报.2012（01）.