轻量级遥感数据分布式调度框架DataboxMR

来源 :数据与计算发展前沿 | 被引量 : 0次 | 上传用户:mkms2080
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
【目的】目前,基于通用平台处理遥感数据,在提升处理效率的同时,也带来了执行轻量级任务效率低、用户使用门槛高、迁移代价大的问题。为降低用户处理轻量级任务的复杂度,降低基于通用平台处理带来的迁移代价,提高用户对任务调度端的控制力。【方法】本文提出了一个高效处理遥感数据的轻量级分布式调度框架(DataboxMR)。框架基于UDF(User-Defined Function)技术设计实现了遥感数据处理服务组件(Remote Sensing User-Defined Function,RS-UDF),RS-U
其他文献
近年来,随着我国城乡建设速度的加快,国家乡村振兴的大力实施,我国农村发展速度不断加快,同时农村也面临着诸多方面的问题,其中最严重的是农村垃圾的污染。农村垃圾污染问题已经成为影响农民生活生产、生态环境、农村城镇化建设和乡村发展的重要因素。目前,农村垃圾种类复杂,产量大,对农村生态环境的影响日趋严重,阻碍了我国建设“美丽乡村”的进程,中央一号文件也强调农村环境处理问题,我国在十三五规划纲要中提出实行最严格的环保制度,形成政府、企业、公众共治的环境处理体系;到2020年底,全国农村行政村的生活垃圾基本要得到有效
[目的]面对数字时代巨大变革,探讨网络安全技术的发展趋势,总结零信任、入侵容忍、白盒安全等开放性网络安全技术的基本特点.[方法]分析目前网络空间安全发展现状,对当前网络
[目的]本文从合规视角出发,阐述和分析当前存在的十种前沿数据安全技术以及应用,旨在为国内的数据安全合规、隐私保护等场景提供技术指导与参考.[方法]基于数据安全需求与合
[目的]IP地址作为网络层的唯一标识符,已经成为网络追踪和隐私关联分析的基础信息.区别于其它个人可识别标识,耦合了身份与位置隐私的IP地址作为路由寻址必备信息,不得不暴露
[目的]复杂多变的网络攻击活动对网络安全工作带来了严峻挑战.将知识图谱引入网络安全领域,有助于刻画展现安全态势,支持安全决策和预警预测.[方法]本文综述了目前国内外知识
[目的]从安全智能、数据驱动威胁狩猎的实践出发,面向安全运营的自动化、智能化需求,梳理安全运营技术发展脉络,为智能安全运营技术的发展提供系统的方法论.[方法]从核心内涵
新媒体时代的到来,改变了以往受众群体只能被动接受信息的情况,让他们拥有了更多的选择权,并且还能够切身参与到新闻事件的制作与传播中。因此,处在新媒体这样一个多元化发展的时
[背景]短文本自动生成技术的研究对阅读与写作效率的提升、传播与引导影响力提升、智能人机交互满意度和机器语义理解能力的提升等都有重要意义.但生成技术的发展和实际应用
随着大数据时代的到来,数据信息量大,内容繁杂,大量重复无用的内容交替出现,且在校大学生了解信息的渠道比较有限,很难准确快速找到自己所需。因此,该项目旨在建立一个集信息整理、
[目的]LDLT分解是求解很多稀疏对称线性系统的有效工具之一,尤其是对于迭代法难以收敛的问题.然而在GPU上实现LDLT分解存在困难,因为分解过程中存在数据依赖和不规则的数据访