分布式并行环境下林地落界数据快速统计技术研究

来源 :中国林业科学研究院 | 被引量 : 0次 | 上传用户:dt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
林地管理是森林资源管理的基础,国家为了进一步提升森林资源的整体监测和管理水平,在《全国林地保护利用规划纲要(2010-2020年)》的指导下,开展全国林地“一张图”建设。其中整合了近期高分辨率遥感数据、林地落界数据、基础地理数据以及林业相关数据,形成了涉及各级(县、省、国家)微观或至宏观管理与应用需要的多尺度多业务类型的海量数据,仅林地落界小班数据已达6738.88万条。随着林地数据呈指数增长,面临体量如此巨大、数据类型繁多、高速变化、价值密度低的空间数据,当前系统中采用的数据模型和统计技术对支持海量数据多维快速统计的局限性表现得越来越突出。因此本文在分布式并行环境下,对林地落界数据统计的数据模型和快速统计技术进行研究。本文针对林地“一张图”系统中面临的海量数据动态统计的问题,以多维数据模型、并行计算、数据挖掘等理论和技术为基础,通过对多维统计模型、并行数据优化部署、并行统计计算、统计结果汇集与缓存管理这四个关键技术的研究,形成了一个高效、快速的森林资源数据统计技术体系,并通过设计实验对相关技术点进行验证,实验结果表明文章提出的数据模型和技术适合林地落界数据多维动态统计的需求。本文所做研究如下:(1)林地落界统计应用需求和数据特点分析,提出了分布式并行环境下林地落界快速统计技术体系,并对体系中涉及的多维统计模型、并行数据优化部署、并行统计计算、统计结果汇集与缓存管理内容给出了解决思路。(2)林地落界数据多维统计模型研究。通过对林地落界数据特点和统计尺度分析,建立基于星型模型的林地落界数据立方体,构建因子组合模型,并在基础上结合统计尺度,构建因子组合统计模型,实现不同尺度下的林地落界数据多维属性统计和空间统计。(3)林地落界数据优化部署研究。通过对林地落界统计粒度的划分与分配、索引体系研究,解决统计粒度在分布式并行环境下的管理问题。对林地落界统计任务的内涵进行分析,确定把维表在各节点复制,对林地落界事实表进行划分的数据划分思路。结合应用场景的特点,提出了基于Hilbert空间填充曲线的动态网格空间数据划分算法,从而确定林地落界统计粒度的大小。在此基础上,提出了基于任务量和图着色理论的空间数据部署方案。并基于统计特征,提出了基于GTMPR-tree(Graphy-Coloring theory based Multi-tiers Parallel R-tree)的多层索引体系。并通过测试表明以县为单位的空间数据粒度存储单位更适合并行快速统计的需求,且通过变异系数(C.V)衡量通过任务量改进的基于图着色的空间部署方案,结果表明改进的算法使得数据在各节点的分布更为均衡,均衡度提高了2倍多。(4)林地落界数据并行统计计算研究。通过给出统计任务粒度的大小,并行统计计算模型,以及提出基于GTMPR-tree的任务划分模型,解决了统计任务资源调度的问题。(5)统计结果汇集和缓存管理研究。针对影响统计效率的统计结果和缓存,给出了基于静态缓存表和动态语义缓存的二级缓存机构和混合缓存管理策略,进一步提出了基于相关性分析的缓存优化模型和基于评价机制的统计更新模型,来优化统计缓存。通过实验给出了潜在的有价值的因子组合。最后通过设计实验,从整体性能上测试分布式并行环境下统计效率,实验结果表明采用文中提出的关键技术,统计性能得到了显著的提升。
其他文献
21世纪是信息飞速发展的时代,能源技术是世界发展的核心;随着世界能源的过度消耗,世界各国都在发展新能源技术,新能源汽车作为其代表得到了迅速发展,而蓄电池及充放电技术是
期刊
本文提出了一种分布式智能网络管理系统,它克服了传统的集中式网络管理系统不适合管理大型分布式网络的弱点,为大型网络的管理提供了一个有效的解决方案.本文介绍了该系统的
柚木是世界名贵的用材树种,素有“万木之王”的美称,具有生长快、材质优良、易加工、用途广和投资回报率高等特点,研究和推广柚木种植具有很好的社会效益、经济效益和生态效
目的研究D500钢激光焊接温度场的变化。方法运用ANSYS有限元分析软件,以5 mm厚D500钢为研究对象,采用均匀分布的柱体热源与椭球热源组合的方法,建立了激光焊接热源模型。对D5
根土复合体的抗剪性能是植物固土护坡研究的基础,根系抗拉性能是根土复合体抗剪性能的决定性因素。为了进一步更深入全面地探讨根系抗拉性能以及根土复合体抗剪性能的力学机
唐古特白刺(Nitraria tangutorum Bobr.)属蒺藜科(Zygophyllaceae)白刺属(Nitraria L.)灌木,是我国特有白刺种之一,是典型的稀盐型盐生植物,具有较强的耐盐和抗旱能力,是荒漠
现代森林经营的目标是培育稳定健康的森林生态系统,传统的以取材为经营目标的森林经营方式不能达到这一目标,可持续多功能森林经营指出了实现这一目标的具体路线,其中近自然
岭南地区水横枝树种较为常见,性喜温、粗生耐湿、生长快速、可水养,是制作盆景好桩材,深得盆景爱好者青睐。岭南盆景艺术讲究截干蓄枝,水横枝造型有一定难度,因新生芽节位相
期刊