Map/Reduce模式下的位置服务数据索引设计与应用

来源 :天津大学 | 被引量 : 0次 | 上传用户:aptxkid2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
位置服务的广泛应用,已经为科研提供了大量人类基础轨迹数据,一些位置服务系统每天产生的轨迹数据可以达到TB甚至PB,与此同时位置服务业务应用的多样性导致数据的格式不一致(例如GPS数据、手机数据等),所以在对位置服务数据进行多维度检索时需要克服的困难还不只是数据量大、响应时间快还有必须考虑业务数据的半结构化。本文对现有的位置服务数据和6种检索方式提出了形式化定义。首先对位置服务数据提出了形式化的定义,并基于此选择了点对点、点对轨迹、轨迹对轨迹的空间测量标准;然后提出六种检索方式。针对轨迹识别率低的问题提出了Map/Reduce模式下的MultiLayer的时间索引算法,同时从索引的结构定义、存储模式以及原子操作三方面说明了多维度索引机制下的分布式定义与操作,其中详细阐述了特定的索引构建和检索操作。结合Multi_Layer算法和HBase中的索引机制提出了一种Map/Reduce模式下的多维度检索框架。通过实验的比对,新建立的多维度索引框架对TB/PB级位置服务数据的三个维度的(经纬度范围、时间段、车辆编号)检索速度可以达到秒级响应。综上所述,本文提出了MapReduce模式下位置服务数据多维度索引方法,以实现TB/PB级位置服务数据的实时查询需求,包括:分布式索引的定义与操作;如何应用该索引来实现位置服务数据相关查询语句;以及应用实例与对比实验。但是在搭建基于Hadoop的检索框架的过程中对时间维度和空间维度两者索引结合的算法没有进一步讨论,在响应时间方面还有改进空间;另外由于时间的原因无法对更多的类型的位置服务数据进行测试,只是针对两个月的GPS的轨迹数据进行试验性能的对比,进一步要对手机、pad等移动终端轨迹数据进行测试。
其他文献
随着Internet的迅猛发展,许多传统行业也逐渐加入到互联网中,并迎来了新的春天。现代易货业的发展正是借助互联网的平台及发达的物流系统发展起来的。它大大的提高了传统易货
车辆路径问题在物流、组合优化以及管理学领域等都受到许多学者的广泛关注,许多实用的理论方法已经运用到实际案例中,对人们的日常生活生产都起到了较大的影响。车辆路径问题作
OLAP(Online Analysis Processing)是数据仓库中一种重要的决策支持分析工具。传统的OLAP设计基于历史数据的离线批量计算,制约了分析的实时性。在当今瞬息万变的商业社会,决策
移动计算环境下,客户端缓存的方法可以较好的解决网络弱连接和断接下客户访问数据的问题。语义缓存是通过客户查询语义信息描述的相关性而建立起的一种客户缓存。客户端具有缓
近年来,互联网信息资源急剧膨胀,带有个人情感色彩的言论越来越多,分析这些文本有着很大的现实意义,因此如何有效地抽取与过滤互联网上的信息,如何对文本进行情感倾向分析成为当前
随着Web服务的广泛应用和网络攻击手段的层出不穷,在可靠性、保密性、数据完整性和不可否认性等方面Web服务都面临巨大的安全挑战。保证Web资源的授权访问,保证网络数据的安全
在无线传感网中,传感器节点在电源能量、计算能力、通信能力等方面具有局限性,节点间如何协作并发挥其整体综合作用,如何延长网络生存期,是设计无线传感网路由算法的重点和难
语音生成与获取是动力学、声学、数学等诸多基础学科的一个比较前沿的重要交叉点,它也是机器人研究领域中的一个重要分支,对它的理论研究不仅可以使我们更好地分析语音的各个
随着计算机网络的发展,大量有价值的数据依靠传统的搜索引擎技术已经不能被有效地检索出来,这些内容称为Deep Web。为了有效地对Deep Web中的数据资源进行检索,人们提出了语义We
多CCD大幅面彩色扫描仪作为一种宽幅图纸高精度扫描数字输入的设备,在军事、测绘等特殊领域有着广泛的应用。正是由于宽幅和高精度的要求,不可避免的给这种扫描仪设备的生产调