基于集群系统的空间数据并行处理策略研究

来源 :高技术通讯 | 被引量 : 2次 | 上传用户：AllFree

【摘要】

：

为了解决单节点的WebGIS系统存储能力和计算能力受限的问题,提出了一种利用分布式文件系统(DFS)和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法。还特别针对分布式文件系统,结合WebGIS的应用模式,提出了小文件优化策略。该策略的核心思想是通过将小文件合并为大文件来有效降低文件的数目。试验结果表明,在使用了小文件优化策略后,分布式文件系统中的节点平均内存占用率从55.78%

【作者】

：

刘旭辉韩冀中贺劲韩承德

【机构】

：

中国科学院计算技术研究所,中国科学院研究生院

【出处】

：

高技术通讯

【发表日期】

：

2009年10期

【关键词】

：

网络地理信息系统(WebGIS) 集群分布式文件系统(DFS) MAPREDUCE 小文件优化 WebGIS clusters distributed

【基金项目】

：

973计划（2004CR318202）资助项目.

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

基于标签估计的动态最优多分支搜索防碰撞算法

针对射频识别(RFID)系统的动态二分支搜索(DBS)算法,提出了一种改进的动态多分支搜索算法,然后通过对多分支算法系统效率的分析,给出了最优分支数目的计算方法,并结合标签估计方法,得到了动态最优多分支搜索(DOMBS)防碰撞算法。理论分析和实验仿真表明,与DBS算法相比,改进算法——DOMBS防碰撞算法的查询次数较少,具有明显的性能优势。DOMBS算法的系统识别效率达58%,而DBS算法的效率仅

期刊

射频识别(RFID)防碰撞协议动态二分支搜索(DBS)多分支标签估计radio frequency identification （RFID） an

借助区域游戏，成就幼儿绘画之美

【摘要】美术活动是开发幼儿创造力、心智、技能的一项综合实践活动，通过美术活动让幼儿真正体会到绘画之美。在绘画过程中努力创新、运用多种有趣的游戏手段将绘画常规游戏化，借助区域游戏激发幼儿绘画兴趣，创设美术区角，让幼儿在游戏中提高绘画兴趣、技能，成就幼儿的绘画之美。　　【关键词】区域游戏;美术区角;美术活动;幼儿教育　　幼儿园的传统绘画教学一直以来都是以模仿画为主，一定程度上抹杀幼儿的创造天赋。著

期刊

区域游戏美术区角美术活动幼儿教育

一种通过优化链路权值来增强网络生存性的方案

提出了一种通过优化链路权值来增强网络生存性的方案。该方案在选择链路权值时考虑了所有可能的链路故障情景和网络流量的变化，通过引入费用函数对过载链路赋以高费用的方法来

期刊

链路权值分配网络生存性优化网络流量link weight assignment network survivability optimization

卡罗拉轿车发动机故障灯点亮故障诊断

故障现象有1辆2010年生产的丰田卡罗拉轿车，发动机型号1ZR—FE，行驶里程5万km，车主反映该车在行驶过程中偶尔出现加油没有反应的现象。根据车主描述，首先验证故障现象，并没有出现

期刊

轿车发动机故障诊断卡罗拉故障灯点亮加速不良现象发动机故障灯故障现象发动机型号

一种新的高清数字电影播放系统的高速缓存和音视频同步设计

基于FPGA和专用解码芯片结构，实现了一种符合DCI规范的2K高清数字电影播放系统。针对高清数字电影码流数据量大、传输速率高的特点，设计了一种采用乒乓结构和基于目录表的动态

期刊

DCI-2K高痛数字电影高速缓存音视频同步FPGADCI-2K high resolution digital cinema high speed

视频监控中的快速异常检测与分析

异常检测是视频监控中目标识别与跟踪的基础。本文提出了一种快速异常检测与分析算法，主要进行了有条件背景替换的检测，并采用分块的方法进行视频分析。同时提出了视频异常检测

期刊

异常检测算法视频监控视频分析分块视频序列快速目标识别跟踪检测标准实验结果

基于带宽借贷的EPON动态带宽分配算法

针对以往以太网无源光网络（EPON）动态带宽算法中存在的带宽分配不公平性问题，提出了基于带宽借贷机制的动态带宽算法LLR和LWR，其基本思想为当某光网络单元（ONU）有空余带宽时，光线路

期刊

以太网无源光网络动态带宽分配带宽借贷公平性保障Ethemet passive optical networks （EPON） dynamic band

Parlay网关中的TCAP协议映射研究

分析研究了支持TCAP(Transaction Capability Application Part)协议映射的Parlay网关结构，Parlay网关中实现代TC-CORBA规范交互操作的TC-CORBA关口．SS7 TCAP接口的操作和Parla

期刊

PARLAY网关呼叫协议SS7接续映射交互操作CORBA规范进程接口

基于集群系统的空间数据并行处理策略研究

与本文相关的学术论文