基于分布式内存计算的时空热点分析

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:qtl8866
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线通信与定位技术的发展,带有时空标签的位置信息的获取越来越容易,由此产生了海量的时空数据,这些数据中包含着巨大的信息,如何对现有的大规模时空数据进行处理和分析已经成为一个急需解决的问题。而分布式计算的发展为我们解决大规模数据的相关问题提供了很好的解决方案。基于此本文以时空数据作为研究对象,从时空数据模型与时空数据的组织、聚集查询计算方法以及热点分析方法几个方面开展研究工作。1、分析时空数据特点,论述了现有数据模型的优缺点,并对分布式内存计算框架的计算模型进行了介绍,提出了一种面向分布式内存计算的时空数据模型,自适应时空立方体模型。在此模型基础上,基于分布式内存计算框架Spark,实现了时空数据的组织与管理。2、针对现有的时空聚集的查询效率较低的问题,以及对大规模(上亿数据量)数据的支持不足的缺点,提出了两种时空聚集方法,一种是基于分布式内存计算的时空聚集查询,另一种是基于分布式内存与时空预聚集的时空聚集查询。在真实数据集上进行了实验和分析,并对两种不同的计算方法的有效性和准确性进行了比较。3、针对时空热点分析问题,在空间热点分析模型基础上,提出了一种时空热点分析的模型。在时空聚集的基础上实现了在分布式内存计算环境向下的时空热度的计算,并提出了一种快速求取时空热点区域的Top-k算法。4、根据应用需要,提出了一种时空热点可视化的方法,实现了时空热点的动态展示,为提高浏览器端可视化效率,设计并实现了时空热点区域的可视化原型系统.直观反映出城市热点区域动态变化,并对热点区域内移动对象的流量进行了统计。
其他文献
<正>《义务教育英语课程标准》(2011年版)提出基础教育阶段英语课程的任务是:激发和培养学生学习英语的兴趣,使学生树立自信心,养成良好的学习习惯和形成有效的学习策略,发展
<正> 蔡姓是一个源远流长、分布广泛的姓氏。相传早在远古的黄帝之后数代就有蔡氏出现并建立了国家。但因年代久远、蔡氏先民的活动遗址已渺不可寻。但从一些史料里还可以略
会议
<麦田里的守望者>中霍尔顿精神世界中的两位灵魂人物--兄弟艾里和童年女友琴的缺失寓示着霍尔顿的世界中理想的倾覆、精神的匮乏、纯真的湮灭及"听者"的缺席,这构成了他无法
探讨了在生物制药厂房的净化空调系统中,如何应用定风量和变风量控制系统,解决过滤器阻力变化和工艺排风变化对通风系统平衡和房间压力造成的影响。
芥酸生产工艺探讨江苏省锡山市油脂总厂(214101)陈佰华江苏省无锡市粮食局(214043)章崇亮芥酸是一种重要的化工原料,被誉为二十一世纪的原料,广泛应用于国民经济的很多部门。它是喷气式飞机优良
零序故障是中压配网中一种常见的故障,为提高中压配网的供电可靠性,本文推广一种智能型零序故障录波及综合诊断装置,主要是利用人工神经网络(ANN)和专家系统(ES)融为一体的神经网
以普湾大桥为例,详细介绍了在严寒地区海洋环境中桥梁的耐久性设计方法。针对不同混凝土腐蚀环境分区,采用不同的防腐蚀措施,其中包括采用高性能海工耐久性混凝土、混凝土表
基于有限元分析方法,应用Ansys Workbench求解龟背式蝶板的应力与变形;对蝶板进行多参数优化,分析各尺寸变量对结果的影响,寻求减少体积、提高刚度的最优解。结果表明,优化后
仿生超浸润表面由于其独特的浸润性,具备自清洁、减阻、抗浸润、抗结冰、抗污、抗反射等性能,已被广泛用于现代医学、航天、工业、能源等领域。近年来,基于浸润性的生物传感,
现有的线性回归方法不能有效处理噪声和异常数据。针对这一问题,结合低秩表示和鲁棒回归方法构建模型LR-RRM。利用低秩表示方法以有监督的方式检测数据内的噪声和异常值,从原