云环境中的移动文件存储和时空数据分析关键技术研究

被引量 : 0次 | 上传用户:Liujc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是近年来蓬勃发展的一个重要领域。云计算环境下的海量数据存储、管理与分析存在诸多挑战,其中时空数据存储访问和应用分析已成为云环境下数据研究的重要方向。一方面,随着个人数字终端的普及,移动设备势必成为数字化社会中数据的重要来源。移动设备产生的数据往往具有时空特性,如何为移动设备提供便捷的海量时空数据存储访问机制是云计算环境下数据管理的一大关键问题。另一方面,复杂的时空数据特性势必成为影响数据分析的关键因素,如何为时空数据提供准确而高效的应用分析能力是云计算环境下数据管理的又一关键问题。本文针对时空数据管理和数据分析展开深入研究,主要解决移动设备访问异构云存储资源效率不高、使用不方便等问题,克服时空数据使用过程中数据不精确、数据量庞大等因素带来的挑战。本文的研究工作和创新点如下:(1)提出了一种基于文件系统的异构云存储服务无缝统一访问方法Wukong。目前不同的云存储服务访问接口各异,由于缺乏无缝访问多种云存储服务的统一接口,时空数据应用不能够不加修改地直接访问和使用后端云存储数据。文件系统是被应用程序广泛支持的一种数据使用接口,以文件系统接口封装各种云存储服务可以保证应用程序对异构云存储服务的直接访问。本文首次提出了一种基于文件系统的异构云存储服务无缝统一访问方法Wukong文件系统。Wukong通过异构服务接口抽象封装技术,实现了对多种云存储服务的一致化管理,保证时空数据应用对异构云存储服务的统一访问。Wukong通过基于桥接模式的接口封装技术,实现了云存储访问接口到文件系统接口的转换,保证时空数据应用程序对云存储服务的透明访问。针对移动环境,本文通过自适应压缩及离线服务伪装等优化技术,降低了系统对网络环境的要求,保证移动设备在不同环境下对云存储服务的有效访问。(2)提出了一种支持多数据视图的跨设备文件同步机制EaSync。由于个人数字设备日益普及,人们往往拥有多个设备。在时空数据应用使用、收集数据过程中,设备之间的数据可以相互辅助应用,例如设备可以使用采集的GPS数据来修正地图数据,也可以使用地图数据来进一步提高采集得到的GPS数据的精度等。因此,多个设备之间数据的透明同步服务有利于为时空数据应用提供更好的支撑与保障。但是,由于设备用途及处理能力不同,各种设备所需要且能处理的文件集合(即数据视图)存在差异,如何为多个设备提供异构的数据视图是同步服务的一大挑战。针对数据同步服务面临的设备种类众多、数据视图变化快、视图差异大等问题,本文提出了一种支持多数据视图的跨设备文件同步机制EaSync。EaSync通过基于时间戳的文件同步机制,保证数据跨设备访问的一致性,实现了数据在服务端与多个设备端之间的同步存储。EaSync通过基于树型结构的视图组织方式,实现了差异视图的层次化管理,解决了数据视图更新快、差异大的问题。(3)提出了一种基于传统地图匹配算法的交互式真实路径发现方法。随着各类交通信息服务需求的不断增长,智能交通系统在社会生活中日趋重要。构建有效的智能交通系统依赖于大量的GPS时空数据,而原始GPS数据存在精度不高的问题。地图匹配算法是用来提高数据精度的常用方法,但是传统的地图匹配算法存在真实路径缺失的问题。本文提出了一种交互式的真实路径发现方法TruthFinder,通过人工评估调整与传统地图匹配算法相结合的路径发现技术,从历史轨迹数据中准确地发掘出真实路径信息,解决传统地图匹配算法真实路径缺失的问题。本文通过基于用户操作次数统计的开销模型分析,提出了地图匹配算法自主选择与人为误差有效避免等的优化策略,实现了大规模真实路径的快速生成。实验分析表明,TruthFinder在保证生成的真实路径的精度的同时,降低了人工操作的评估与调整开销,提高了真实路径的发现效率。(4)提出了面向时空数据的并行化索引创建和并行化数据聚类分析方法。随着时空数据的不断增长,现有的索引创建方法与聚类分析算法已无法处理当前庞大的数据集合,针对大规模时空数据的索引创建与聚类分析是海量时空数据挖掘的重大难题。本文提出了面向时空数据的并行化索引创建和并行化数据聚类分析方法。通过基于MapReduce模型的并行化处理框架,本文实现了时空数据索引的自底向上打包创建,解决了传统索引创建方法面对海量时空数据所带来的主存容量有限、处理周期过长甚至无法处理的问题;本文提出了并行的DBScan聚类分析算法,解决了大规模时空数据聚类分析中数据分区困难、局部分簇合并复杂的问题,为时空大数据的处理提供了技术基础。通过实验分析表明,我们的并行化方法在保证数据处理性能的同时具良好的可扩展性,解决了数据量庞大、计算复杂所带来的主存容量受限、处理周期过长等问题。通过以上四方面研究,我们为云计算环境下的海量数据存储、管理与分析提供了有力的技术支撑。
其他文献
目前,制备纳米结构电化学传感界面以提高分析检测的灵敏度及选择性是电化学传感领域的研究热点。碳基纳米材料,如碳纳米管,石墨烯,纳米碳量子点等以其独特的物理化学性质在电化学
物流在现代社会中有着非常重要的地位。第三方物流是物流系统不可或缺的组成部分,更是现代物流的发展方向,它的发展从宏观和微观两个层面制约着我国社会经济的发展。从宏观上来
背景胃癌是世界范围内最常见的恶性肿瘤之一,病理分期较早的患者可通过手术联合化疗取得较好的疗效,病理分期晚的患者预后差,五年生存率低于10%,复发转移是导致胃癌患者死亡的主
近年来有研究开始关注γ-氨基丁酸(γ-aminobutyric acid,GABA)系统,认为该系统在精神分裂症发病中起重要作用。脑内GABA由脑内含量最高的氨基酸-谷氨酸在谷氨酸脱羧酶(glutamic a
研究背景:海水淹溺性急性肺损伤(Seawater aspiration-induced acute lung injury, Seawateraspiration-induced ALI)是海水淹溺后的严重并发症。不可控性的炎症反应是海水淹溺
本课题为第四军医大学西京医院药剂科与陕西方舟制药有限公司的合作研究项目。枸杞为茄科枸杞属植物,主要分布于我国西北、西南、华中、华南和华东各省,并且各地均有栽培。枸杞
【背景】胃癌是我国常见的恶性肿瘤,其致死率位于在恶性肿瘤致死率的第二位。转移是导致胃癌病人死亡的首要原因。尽管国内外许多学者对胃癌的转移的分子调控网进行了深入的探
背景:正电子发射显像(Positron Emission Tomography,PET)已经成为核医学领域的主导成像方法之一。目前临床常用的正电子核素均依赖于回旋加速器生产,最常使用的18FDG并非肿瘤特
美国警务科技具有积极运用最新技术、充分利用多种资源、高度重视实战效果等特点,对我国公安科技的发展有一定的启发意义。当前,我国公安科技应进一步强化互联网警务和大数据
微小型无人直升机具有体积小、重量轻、成本低、场地因素限制小、机动性能强等优势,可以隐蔽抵近战场前沿或深入战争腹地进行侦察,也可以实现全天候、全空间深入复杂地形、灾区