【摘 要】
：
随着遥感技术的快速发展,遥感数据呈爆炸式增长,给遥感数据计算带来巨大的挑战。采用基于内存计算的Spark分布式计算框架以克服该问题,并选择YARN作为资源调度系统和采用HDFS
【机 构】
：
复旦大学计算机科学技术学院,复旦大学计算机科学技术学院
论文部分内容阅读
随着遥感技术的快速发展,遥感数据呈爆炸式增长,给遥感数据计算带来巨大的挑战。采用基于内存计算的Spark分布式计算框架以克服该问题,并选择YARN作为资源调度系统和采用HDFS为分布式存储系统。Spark是一个开源的分布式计算框架,基于弹性分布式数据集(RDD)概念,采用先进的有向无环图执行机制以支持循环数据流操作,通过一次数据导入内存就可以完成多次迭代运算。因而,特别适合基于多次迭代的大数据计算分析方法,相较于每轮迭代需把数据导入内存的Map Reduce有更大的优势。将该计算框架应用于海量遥感数据分析,验证需要多次迭代的奇异值分解(SVD)算法在该数据分析中的有效性。实验表明,随着迭代次数增加,基于Spark的SVD运算效率相对于Map Reduce有明显提高,通常可提高一个数量级。
其他文献
<正>从各地的高考试题中可以看出,近年来物理高考越来越注重考查学生对物理问题的分析能力,加强了对较为复杂物理过程分析的考查.这部分试题大多以生产、生活为背景,情景较新
针对武汉某住宅楼钻孔灌注桩工程岩溶发育等复杂的地质条件,经过多种施工方案分析比较,采用旋挖与冲击组合钻进工艺,满足了工程质量和进度要求,对旋挖钻进、冲击钻进施工工艺
目的 探讨Straub血栓旋切器在下肢深静脉血栓形成中的应用效果。方法 随机选取2009年10月~2013年8月于我院就诊并治疗的88例下肢深静脉血栓形成患者,采取简单随机化的分组方
目的分析大病医保政策实施前后湖南省儿童先天性心脏病的临床特征,为制定相关卫生政策提供数据参考。方法采用描述性研究方法,收集整理并分析1 267例2009年1月1日~2012年12月
目前,APP开发是移动互联网发展的重要内容,进行移动开发的方法也非常的多,如IOS,Android。文章介绍了一种新型的开发框架—React Native,用Java语言就能同时编写IOS,Android
<正> 长篇小说《儿女英雄传》,又名《金玉缘》。共五十三回,因原稿蠹蚀不清,笔墨弇陋,疑经他人赓续,刊者削去后十三回,今存四十回。成书大约于1849年以后。作者文康,字铁仙,
微博维权事件一般会经历"萌芽期——升温期——高潮期——解决期"四个演进阶段。微博创造了公共话语空间,为政府、媒体、机构和公民提供了对话交流的平台,打破了传统公共行政
本文从人力资本的角度用Grossman模型来分析我国城镇居民的健康需求。利用中国健康和营养调查(2000)数据,我们有以下主要发现:(1)与收入的不平等形成对比,城镇居民健康状况的
本文分析了政府进入管制对厂商最优质量水平及市场平均质量水平的影响。在模型中 ,消费者对产品质量的主观推断存在误差 ,而产品需求在短期内保持稳定。财政收入最大化政府设