基于分布式字典树索引的大规模时空轨迹相似度搜索

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:weilanqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
轨迹数据是对移动对象的运动过程进行采样所获得的地理信息序列。随着GPS设备的普及,轨迹数据规模呈爆发式增长,这使得可以通过分析轨迹数据来方便人们的生活。基于轨迹相似度的k最近邻查询是轨迹数据分析的基本运算之一。然而,海量的轨迹数据使得现有的单机算法无法高效地完成查询任务。分布式方案能够利用多台机器的资源去加速查询过程,但目前最先进的分布式方案存在计算资源浪费和局部索引查询效率低的问题。为了解决上述问题,提出了一个运行于Spark的分布式轨迹相似度搜索框架REPOSE(Reference Point Tries)去处理k最近邻查询。该框架支持多种轨迹相似度度量,包括Hausdorff距离、Frechet距离、DTW距离。REPOSE由全局分区策略和局部索引两部分组成。全局分区策略设计了一种新颖的异质性分区策略,它通过平衡每一个分区的组成来实现负载平衡和改善局部索引的查询效率。局部索引使用Zorder将原始轨迹离散化成参考轨迹,然后使用参考字典树来索引参考轨迹。为了进一步改善查询效率,该框架使用了一个基于顺序无关的优化方法来改善参考字典树的性能。除此之外,该框架基于参考轨迹的性质提出了三种强有力的剪枝下界(单向下界,双向下界以及中枢轨迹下界)来减少计算次数和使用中间结果来降低计算下界的成本。为了充分展示REPOSE的效果,将它与最先进的分布式轨迹相似度搜索框架在真实数据集上进行性能比较。实验结果表明,REPOSE的性能优于现有的分布式轨迹相似度搜索框架。
其他文献
随着移动互联网的飞速发展,网络购物与社交媒体占据了国民生活中的大量闲时流量。大数据时代,为了挖掘用户对商品的偏好,将电商平台的商品数据与用户的社交信息结合可以有效筛选出热点信息,发掘用户潜在的兴趣点并进行针对性的商品推荐。传统的基于内容的推荐系统、协同过滤推荐系统只能通过用户的历史购物记录进行推荐而无法发掘用户潜在的偏好。而基于深度学习的推荐系统又受到机器算力的制约,且无法对推荐结果进行解释。因此
学位
本文运用"相对价格法"研究了汽油、柴油和电力等中国能源市场分割状况及其对中国全要素能源效率的影响。研究表明,中国能源市场分割呈现倒U型曲线,能源调出区市场分割情况更为严重。中国全要素能源效率呈现N型走势,能源调出区全要素能源效率更低,呈现出"能源效率诅咒"。市场分割对全要素能源效率的影响呈现U型曲线,超过97.59%的样本点表明,降低市场分割水平有利于全要素能源效率提高。据此,本文认为,推进能源市
期刊
近年来,随着网络的发展和电子商务平台的迅速崛起,线上购物已经成为主流。在消费者深度参与的同时,网络上出现了大量用户评论信息,这些网购评论中往往蕴含大量有价值的信息。通过对这些文本进行情感分析可以得到关于商品的有用建议和反馈,提高购买效率,还可以找到产品问题,改善不到位之处,提高运营效率。情感分析技术由来已久,从最初的基于词典做规则匹配到提取文本特征后基于机器学习算法做分类,再到当下的深度学习技术。
学位
基础建设作为国民经济的支柱需要优先发展,建设大规模、高质量的电力工程是发展基础建设的前提条件。然而,我国电力工程造价管理方式较国际水平落后,制约了国内电力行业的发展。长期以来,电力工程实施过程中产生了大量历史工程数据,其中蕴含了丰富的造价知识。因此,如何从过往电力工程造价案例中挖掘有效信息,改善造价管理过程,成为亟待解决的问题。近几年,工程造价估算一直是研究热点,已有方法能够完成特定领域下工程造价
学位
推荐系统能够结合用户、物品的信息进行信息过滤,高效而准确的定位用户所需要的信息。然而对于不断加入的新用户、新物品而言,推荐系统内部没有充足的交互信息以及描述信息,无法对这部分用户以及物品进行有效推荐,这种现象称之为冷启动问题。近年来深度学习在各个领域取得令人瞩目的成就,不少学者开始尝试结合深度学习的方法来解决冷启动问题。基于深度学习的推荐模型需要充足的数据来支撑模型的构建,然而实际应用场景中用户与
学位
本文基于企业环境规制的微观识别,分析了环境规制对企业技术引进和自主创新两种技术进步方式的影响。研究发现:受到强制性环境规制后,企业技术进步路径会偏向技术引进;从异质性分析看,当受到环境规制时,东部地区企业会偏向技术引进,而中西部地区企业不仅不会增加技术引进,还会降低自主创新,以消极方式应对环境规制;从机制分析看,技术引进能够更好地改善企业环境绩效,稳定其生产规模,但对于企业生产率提升作用不明显;进
期刊
随着全球定位技术和基于位置服务的发展,大量文本数据附带了空间位置信息。在地理数据和文本数据的融合变的愈加普遍的情况下,空间文本数据的相关研究成为时空数据挖掘研究领域的热点之一。然而,数据的使用价值随着时间递减,及时获取到的有重要价值的信息对用户的决策有重要的影响,因此越来越多的研究人员开始研究空间文本数据的实时处理算法。空间文本数据的连续查询为本文的主要研究内容。不同于传统的查询,连续查询从注册于
学位
大数据的一个重要特征是多模态,不同行业领域的数据来源广泛、形式多样,每一种来源或形式都可以看作是一种模态,例如视频、图片、语音等。基于这些多模态数据,用户可能选择任何媒体形式的内容作为查询条件,因此跨模态数据之间的信息检索具有非常广阔的应用空间,已经成为目前研究的一个热点问题。跨模态检索的主要挑战是如何弥补不同模态间的语义鸿沟,目前已有的基于深度学习的跨模态检索方法通常利用神经网络单独学习每个模态
学位
强化知识产权保护是新发展格局下中国实现贸易竞争力提质升级的重要举措。本文将知识产权保护与全球生产分工纳入异质性企业框架,从成本节约效应和价值链提升效应揭示出技术后发国家增强知识产权保护提升企业出口国内增加值率的影响机制,以及技术距离的调节效应。然后,本文运用2000—2013年中国工业企业数据库和中国海关贸易数据库匹配数据进行实证检验,发现强化知识产权保护将显著提高企业出口国内增加值率,其作用机理
期刊
随着深度学习的发展和各种终端设备算力的提高,人脸识别被广泛的应用在生活的各个领域,人脸检测和跟踪是其中重要的一环。在实际环境中,人脸检测和跟踪处理图像的质量受到多个因素影响,如不同的摄像头对成像的处理、环境光的明暗变化、人脸面部遮挡物和面部姿态等。这些因素会导致在数据集上运行良好的算法在实际应用效果不佳。针对实际应用中人脸检测跟踪需求,设计并实现了面向复杂环境下的轻量级人脸检测跟踪系统。首先建立数
学位