地理时空大数据高效聚类方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:chongyou2025
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着我国空天地立体观测技术的飞速发展,高精度、高频度、大覆盖的超海量地理时空数据呈几何级数爆炸式增长,海量地理时空数据的价值挖掘愈发迫切。聚类作为数据挖掘最主要的方法之一,已成为学术界研究的热点。而面对超大规模地理时空数据的聚类分析,特别是精度不断提高的高分辨率遥感影像及规模不断增加的时空点数据,现有GIS聚类方法欠缺一个用于统一表达地理时空大数据高效聚类过程的聚类框架模型,时空聚类理论和技术面临严峻挑战。本文针对现有聚类方法普遍存在的数据组织不统一、数据划分关联性丢失、大规模数据计算效率低、聚类效果差等缺陷,从数据组织、数据存储、数据划分及计算范式四个方面构建地理时空大数据高性能并行聚类模型体系。综合考虑高分辨率遥感影像中存在的地物对称性和光谱相似性以及时空点数据中存在的宏观连续、微观离散的时空模式,为高分辨率遥感影像及时空点数据分别选取代表性聚类方法,克服现有方法中存在的缺陷,在上述并行聚类模型下进行实现高效聚类。具体研究内容如下:(1)设计包含数据组织、数据存储、数据划分及计算范式的地理时空大数据高性能并行聚类模型体系,统一表达矢量和栅格数据的并行聚类过程。在数据组织层面,将栅格数据的各个波段、影像像元值和矢量数据的各个时空特性作为组织维度,提出多维超立方体数据模型;在数据存储方面,将组织模型进一步抽象成分布式数据仓库的GeoTable结构,进而实现数据统一存储;在数据划分层面,提出基于代数理论的多维超立方体数学表达与空间计算方法,建立基于连接元的数据划分模型;在并行计算方面,对作业执行和数据传输过程,设计基本操作和通信模式之间相互作用的矩阵表达,建立大数据高性能并行计算范式。(2)针对栅格数据,以高分辨率遥感影像为代表,选择基于划分的聚类算法。综合考虑地物对称性及光谱相似性,改进了点对称距离相似性度量。提出基于遗传算法的全局最优解搜索算法,设计基于连接元的高分辨率遥感影像分布式数据结构,在并行聚类模型下实现栅格大数据的高效聚类。(3)针对矢量数据,以时空点数据为代表,选择基于密度的聚类算法。使用泊松分布拟合时空事件发生概率,重定义时空事件可达性,建立时空事件聚类模型。基于可变时间窗口,提出数据重排扫描算法。设计N维空间下冗余感知格网,建立基于连接元的数据连接模型,在并行聚类模型下实现矢量大数据的高效聚类。研究及实验结果表明,本文提出的地理时空大数据高性能并行聚类模型,能有效结合并行计算、分布式计算等高性能计算技术与空间计算理论方法,实现大规模地理时空数据的高效聚类。针对栅格大数据聚类算法的改进,有效增强了对称性地物的提取能力并大幅提高了聚类速度和效率。针对矢量大数据聚类算法的改进,既大幅提高聚类效率,更有效解决了现有研究在时空数据聚类中存在的时间域与空间域割离、多密度簇无法识别的难题。
其他文献
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
本文提出由客观状态的不确定性和结果价值两方面因素造成的效用风险的概念,定义并构造效用风险函数和效用风险熵的函表达式,剖析其主要数学特性,阐明效用风险函数和效用风了险熵
长期以来,固定资产的残值似乎总是被看作是原值的一个很小的部分。新的工业、商业会计制度也都规定:固定资产的净残值率按原值的3%至5%来确定。笔者认为,固定资产的残值究竟占
目的对在糖尿病合并肛周脓肿病人术后创面应用康复新液的疗效进行研究。方法选取2015年1月—2016年1月期间间行糖尿病合并肛周脓肿根治术患者36例,随机分为实验组及对照组,实
党在革命建设改革各个历史时期,都十分重视新闻舆论宣传工作。习近平总书记指出,党的新闻舆论工作是党的工作的重要组成部分,做好党的新闻舆论工作,营造良好舆论环境,是治国理政、
本刊从这一期开始,新辟一个栏目,叫《会计人员话写作》,目的在于贯彻办刊宗旨,为想写稿但暂时还不会写稿和虽已开始写稿但还不善于写稿的会计人员提供一点切实有用的帮助。
网络搜索指数是否能捕捉到用户对于P2P平台选择的行为?本文以2015年2月1日至7月31日181天日度数据分析百度指数与红岭创投、人人贷、积木盒子、微贷网四家P2P交易平台成交量
<正>近年来随着我国结直肠癌发病率的不断增加,如何规范结直肠癌临床诊疗行为,提高诊疗水平,保障医疗质量和安全,提高存活率,降低病死率,已越来越受到临床医师的关注[1]。长
基于中国财税体制及人口资源禀赋的角度,使用省际面板数据模型,研究财政分权、人口红利对中国出口贸易的影响。研究结果显示,财政分权是扩大出口规模的经济激励因素,通过激励