基于Couchbase的时空查询算法研究

来源 :新疆大学 | 被引量 : 0次 | 上传用户:lanmei01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着RS、GIS、GPS,简称3S技术的繁荣发展,时空数据作为大数据必不可少的基础,已经成为各行业发展的重要部分。随着无线通信以及全球定位技术的成长、传感器设备的使用也越来越普及,地理空间系统得到了繁荣发展。多尺度、多维度、高精度的轨迹时空数据的爆炸性增长,如何对时空数据进行高效存储、索引及管理应用已成为亟待解决的重要问题。轨迹时空数据做为GIS重要表现形式之一,其高效存储与索引管理是该领域应用的重要问题。传统关系型数据库基于单节点、面向空间、范式约束,无法满足大量并发性高的时空数据查询。No SQL数据库以其分布式、弹性可扩展及异步复制等特性,在大数据复杂信息的存储与索引管理方面获得良好的性能,已受到学术界和商业界的青睐。基于上述,本文使用No SQL数据库Couchbase对轨迹时空数据在数据存储、时空索引、时空查询等方面展开深入研究。研究内容可总结为三部分:(1)提出了一种基于Quad-H树的时空分级索引机制,从而优化了面向时间维度和空间维度的GPS数据查询算法。从时间维度分析,由于以时间为属性组织数据时,数据每日的变化幅度较小,所以每日不同时间段为周期组织GPS数据;从空间维度分析,根据空间分布不均的特性,第一级用改进四叉树整体划分数据;第二级用希尔伯特曲线对密集空间数据进一步分割。综上,构建时空范围以及KNN查询方案验证本文分级索引机制查询是否高效。经验证,与传统RT-tree比较,基于改进四叉树的Quad-H分级索引机制可有效地提高GPS数据查询效率,在范围查询方面的耗时平均降低了约35.05%,在KNN查询方面的耗时平均降低了约24%。(2)提出了一种分布式复合时空索引方案Mix Indexer,可以有效地管理来自大量时空传感器数据的查询需求。首先,提出了一种基于Couchbase的分布式时空索引体系,该体系由全局索引和局部索引组成。其次,结合分布式增强R+(MDR+)树算法,提出全局四叉树索引,以加速数据检索和时空查询效率,并设计了一种基于Map Reduce的大时空传感器数据批量构造指标并行处理方法。最后,基于Couchbase几种常见的键值结构,上实现了Mix Indexer混合索引。经实验,Mix Indexer复合索引方案优于典型空间数据库的索引方法和单个树索引R+(Cache Conscious R+Tree,CCR+)方法,相比较查询时间分别缩短42%和25%。(3)提出一种混合索引覆盖多个维度,同时过滤时间属性和空间属性时空索引模型。其使用基于块的存储结构来加速对历史数据的OLAP类型查询,支持通过内存和磁盘驻留数据进行查询处理并设计行化进行处理算法,在真实的数据集进行了实验测评:北京GPS交通轨迹数据和新浪微博产生的签到数据。结果表示,基于四叉树的设计的新索引的时空查询性能明显提高。
其他文献
我国从纺织大国逐渐向纺织强国转变,随着人口红利的降低和环保政策要求的不断提高,纺织印染行业对化学品和能源的大量消耗问题逐渐显现,印染废水排放的问题亟待解决。新型印染废水处理技术也在不断发展中,但目前多是关注印染废水的总体排放,很少有研究印染过程中各工序产生的废水情况,尤其是新疆纺织企业更加缺乏应有的检测与研究。掌握污染物产生的源头尤为重要,可为企业开展清洁生产及节能减排提供依据。本文以新疆某纺织企
学位
为推进可再生能源的开发利用,风电产业快速发展,风机广泛接入电力系统,但是,存在大量的风电无法并网,出现了严重的弃风问题,造成巨大的能源浪费和经济损失。目前,解决弃风电量这一问题的途径主要有两种,一是利用储能调峰进行弃风电量的外部消纳,二是风电场内内部消纳。风电场内风机日常检修,主要依靠巡检人员的攀爬作业来实现,在风电场日常检修和维护中带来了困难,同时增加了安全隐患和事故风险。但在风机塔筒内安装检修
学位
随着国家对清洁能源的支持和大力开发,新能源迅速的发展,给人们带来清洁、高效、环保能源的同时,也给电网带来了巨大的挑战。风电作为一种典型的清洁能源,由于其不稳定性、风电场地处偏远地区、加上恶劣环境等影响,大大增加了新能源并网和风电外送难度,尤其“三北”蒙西等地区的新能源消纳问题更是严重,传统的输电通道和方式已经无法满足新能源的消纳,新型的高压柔性直流输电方式是解决这一问题的有效措施,而其中输电系统的
学位
通过对新课标改革的相关资料学习后,发现当代物理教学要求在不断提高。将无线传感器作为一种新式的实验手段引入课程,可以极大地改善物理教学的效果和提高学生的学习趣味。本文利用在实验室工作的实践经验和便利条件,了解到现有传感器的不足,自制无线传感器套件与实际中学物理教学相结合,并通过调查问卷、学生访谈、教师教学反馈等,对无线传感器在物理教学中与传统实验方法对比,探讨自制创新教具在中学物理应用的优点与缺陷。
学位
由于我国能源逆向分布的特点,华南、华东电能需求量大,而“三北”、蒙西弃电量大。原有输电系统的条数及容量已无法满足现代经济发展的需要,存在着网架制约、系统薄弱等因素。多条高压直流输电线路同时落点于同一个负荷中心的输电方式已在线路密集地区大量应用,形成了混合多馈入高压直流输电系统,该系统不仅可以确保电网平稳运行,还有助于新能源消纳。随着电力电子技术的不断发展,直流输送变电技术种类多种多用,方式也愈加科
学位
语言的物质外壳是语音,离开了语音,语言符号就不存在。学习任何语言都是以语音为起点,对外汉语教学也不例外。本文选择舌尖后音偏误率最高的类型,分别将实验组和对照组的舌尖后音的发音数据导入语音软件praat中,绘制出了宽带语图,从声学特征上分析并验证了偏误类型。本文发现哈萨克斯坦留学生发舌尖后音时,普遍会将舌尖后音zh[t(?)]发成j或类似j的音;ch[t(?)’]发成q或类似q的音;sh[(?)]发
学位
随着我国经济的飞速发展,经济不断增长,电网的规模快速扩大,配电网作为连接用户、发电机和输电网的重要枢纽,其重要性在电力系统中日渐提高。由于我国长期不重视配电网继电保护的建设和管理,其滞后的发展导致问题正逐渐的暴露出来。因此,构建合理的配电网综合评价指标体系和研究科学的评价方法对发现配电网继电保护中存在的不足和缺陷有着巨大的帮助。本文重点研究了配电网继电保护的综合评价方法的评价指标体系,其主要工作如
学位
非线性科学是21世纪人类科学技术发展重要研究对象,是一门研究物体运动、声音传播和自然界中各种变化规律的科学。在物理、化学、生物、金融及工程等许多与人们生活息息相关的领域中的规律和现象都可以用恰当的非线性方程来阐述。这些方程通常用于描述各种现象随时间而演变的过程,我们把它叫做非线性发展方程或者演化方程。从非线性科学的发展可以看出非线性发展方程与大多学科密切相关,例如流体力学中的连续性方程、大气动力学
学位
生物污染是生物医学领域及油水分离领域必须面对的共性问题。研究开发抗污染的表面及其表面改性方法是最主要的途径。目前,利用两性离子聚合物对材料表面进行亲水改性是提升抗污性能最有效的方法。两性离子聚合物可通过原子转移自由基聚合的方式固定在材料表面,但是常规聚合过程反应条件苛刻、铜盐用量大,对生物医用材料存在潜在毒性问题。因此本文建立了在不同材料表面构建聚合物刷改性涂层的共性技术方法。在无需脱氧、铜盐用量
学位
背景:随着人口老龄化趋势的不断发展,骨质疏松症(Osteoporosis,OP)已经成为严重威胁老年人健康的常见病和多发病。流行病学显示,我国60岁以上老年人骨质疏松症的发生率已高达36%。骨质疏松症的主要病理改变为骨小梁变细、数量减少及间隙增宽等骨微细结构的破坏,具有全身骨痛及易于发生骨折等临床特点。大多数骨质疏松症病人需要终生治疗和调理。目前临床上用于防治骨质疏松症的药物包括化学药物和中医。虽
学位