基于Shark/Spark的分布式空间数据分析框架

来源 :地球信息科学学报 | 被引量 : 0次 | 上传用户:wlszzj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎(Shark/Spark)中集合之关键技术(包括空间数据映射、空间数据加载、数据备份及空间查询等),将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案(Arc GIS on Hadoop)对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。
其他文献
<正>小学高年级的学生经过学习,已经积累了一定的英语词汇、句型和语法知识。因此,我们在平时的教学中,可以渗透英语写作的训练,提高小学生英语写作的能力。本人在教学实践中
利用我国首颗民用高分辨率测绘卫星—ZY3影像,运用面向对象方法及形态学的思想,以形态学建筑物指数MBI和形态学阴影指数MSI,构建了基于知识规则的城市建筑物和阴影信息提取模
<正>前一段时间,各大媒体相继报出多起持卡人银行卡被盗刷事件。有借记卡被盗刷的,也有信用卡被盗刷的;有持卡人在正常刷卡时银行卡信息泄露的,也有持卡人在受到犯罪嫌疑人胁
综述园艺植物差异蛋白质组学的研究进展。
特点:清香爽口,鲜嫩宜人。功效:祛风解毒。韭菜含有挥发油和大量纤维素,并含有多种矿物质和维生素。它有祛风、发汗、助阳促进食欲、帮助消化等功效,所以可以用来辅助治疗感冒
本文运用BP神经网络的算法结合主分量分析法对高校教学评价的多项指标进行处理运算,计算机的运算结果显示该算法较适合多项指标、多层次系统。
<正>交互式电子白板,作为一种新的教育技术已悄然走进学校。它全新的可视化和交互式功能为师生提供了一个全新的教育平台,学生能够积极地参与到教学当中,提高了学生学习的自
<正>让幼儿主动学习是幼儿教育的新理念,玩教具则在幼儿主动学习中发挥着重要作用,它不仅是幼儿玩耍、快乐的工具,还有着科学游戏的价值。它是把玩具和教具功能合二为一的一
在小学思品课堂教学中,教师要灵活处理封闭和开放、预设和生成的关系,有效探寻与捕捉教学生成点,让师生充分绽放生命的美丽,让课堂开出智慧之花,动态生成,充满生机与活力。
采用催化氧化降解—有机溶剂萃取—水溶解分离技术生产泥碳黄腐酸,研究其生产操作要点、技术参数。研究结果表明,采用此种方法生产的黄腐酸,黄腐酸含量高,使用方便,便于保存