基于Spark的空间范围查询索引研究

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户：sandro

【摘要】

：

由于传统的数据处理系统的数据存储与数据处理能力有限,不能满足处理大量数据的需求。为了发挥数据的价值,高效、高性能地处理大量数据集,提出基于Spark系统结合SIMBA的思路共同建立的大数据分析处理系统,基于Spark SQL的查询方式进行检索;在Spark中嵌入索引管理机制,将其封装在RDD内,用于提高查询效率;通过建立线段树存储数据的方式提高数据检索的效率。对于数据预处理时采用Range Par

【作者】

：

陈业斌刘娜徐宏刘敏

【机构】

：

安徽工业大学计算机科学与技术学院

【出处】

：

计算机应用与软件

【发表日期】

：

2018年02期

【关键词】

：

Spark系统大数据范围查询 SparkSQL组件

【基金项目】

：

安徽省高校自然科学研究重点项目（KJ2015A130）.

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

基于VISSIM仿真的港口集装箱堆场交通流研究

针对上海港口集装箱堆场交通拥堵日益严重的现状,基于交通流理论和VISSIM微观仿真软件,对港口集装箱堆场的交通流进行研究。根据交通流的理论基础,将集卡港区装卸作业与公交停靠模式进行类比,建立港口集装箱堆场的交通流模型。在上海港区实地调研数据的基础上,对建立的交通模型进行验证。通过VISSIM仿真软件对港口集装箱堆场交通流进行模拟,对比港区需求作业下不同交通量影响下的交通宏观基本图。通过控制闸口通道

期刊

集装箱码头微观交通仿真交通宏观基本图堆场道路路网闸口通道控制

大数据混合仿真实验引擎设计

针对体系对抗研究中建模仿真结果失真和海量数据挖掘功能缺失的问题,提出大数据混合仿真实验的解决方法。对大数据混合仿真实验概念内涵和外延进行阐释;对大数据混合实验引擎进行设计,提出"四层四核"的引擎逻辑架构,对其中大数据挖掘分析、仿真分析、混合控制和资源管理四个核心模块的功能定位、构成组件和内外交互关系进行细化设计。给出引擎概略的运行流程。

期刊

体系对抗研究大数据混合仿真实验引擎设计System confrontation studyBig data mixed simulation experi

复杂载荷作用下海洋非粘结柔性管三维受力特征分析

随着陆地油气资源开采力度的日渐加大和油气储量的不断减少,海洋石油资源已成为人们关注的焦点和新一轮油气勘探开发的热点。海洋非粘结柔性管是海洋油气输运的生命线,为了满

会议

海洋柔性管非粘结摩擦接触复杂载荷应力特征

浅谈高中英语作业布置存在的问题及解决对策

随着我国素质教育的改革和新课改的不断深入,我国的高中英语教育受到了教育部门和社会群体的高度关注.高中阶段被家长、教师、学生都认为是学习生涯当中最重要的阶段,同时也

期刊

高中英语作业问题对策

浅谈如何上好小学数学低段计算课

计算在数学学习中十分重要,尤其是低段的计算教学,是高段计算的基础,每一学期的数学教材中都会有计算课,只有在低段打好基础才能在高段的数学学习过程中更加轻松,计算教学也