云计算环境下基于列存储的时空离群点挖掘研究

来源 :江西理工大学 | 被引量 : 0次 | 上传用户:Hotcoolman
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时空离群点挖掘是空间数据挖掘领域的一个重要研究分支,是为了找出与时空邻居有着明显差异的时空离群对象集,该集合包含的对象通常很少,易被认为是某种误差造成的,从而被我们忽视掉,但是这些离群点可能蕴含着有价值的时空知识。在对现有的时空离群点挖掘进行研究时,我们发现挖掘对象通常是海量时空数据,其计算量和I/O消耗巨大,传统串行算法无法满足其计算效率的需求,研究出适合的并行算法势在必行。  云计算能对网络中廉价的易于扩展的软硬件资源进行充分整合以实现分布式并行计算,从而大大缩短任务的计算时间和节省平台构建的成本。列存储具有复杂查询效率高,磁盘访问低,存储空间少等优点。在列存储数据库中,对于列的访问只是对列所在的存储单元进行操作,能有效地降低查询操作的I/O消耗。  本文结合云计算和列存储技术在海量数据处理和存储上的优势进行时空离群点挖掘算法的并行化研究,主要做了以下工作:  1)总结对比几种典型的时序离群点挖掘思想和各自的优缺点,并且分析了几种具有代表性的空间离群点挖掘算法的实现原理和过程并归纳对比了其优缺点,然后结合当前时空离群点挖掘研究前沿,通过综合考虑时空对象的时空属性和非时空属性对时空对象离群影响的差异,提出了一种基于时空属性加权的时空离群点挖掘算法。  2)了解云计算的特点和关键技术,重点研究了Hadoop云计算平台下MapReduce编程模型和运行机制。然后在对上述提出的挖掘算法进行了串行算法思想和流程分析的基础上,进行了并行化分析和设计,并在云计算平台中编程实现。  3)熟悉列存储的定义及几种关键技术,重点对HBase的数据模型、文件格式以及存储方式进行研究,然后在分析了现有空间数据存储方式和SFASQL规范基础上,在HBase中进行空间数据存储设计,实现空间数据的分布式列存储和管理,并对空间数据进行了Hilbert曲线划分,实现了时空对象的聚类存储,提高了数据挖掘的效率。  4)搭建了Hadoop云计算平台和配置了HBase数据库运行环境,使用了全国三十一个省区2001年-2011年的农业受灾数据进行了实验,对挖掘结果进行了分析和评价,并且通过对比并行环境和单机环境下挖掘的效率,验证了并行算法性能的优越性,同时通过不同集群规模实验验证了集群性能良好的可扩展性。
其他文献
随着现代化建设节奏的加快,全国各处承载着缕缕乡愁的传统聚落的保护工作越来越艰巨。而国内著名的山城——重庆,其内部山地聚落数量繁多且独具特色,近年来,这些聚落的发展与更新
在国有企业深化改革和发展的新形势下 ,企业领导干部加强党风廉政建设应重点解决四个问题 :必须以身作则 ,带头端正党风 ,廉洁自律 ;必须保持和发扬艰苦奋斗的创业精神 ;要坚
干部一词是外来语。当初用这两个字来音译,或许并没 有什么特殊的意义,但既然干部是指那些国家机关 的公职人员或担负一定领导职务的人,那么顾名思义,不妨说,干部就是干实事的部
实景影像是指一体化集成融合管理的时序序列上具有像片绝对方位元素的地面立体影像。可视、可量测、可挖掘实景影像包含了传统地图所不能表现的空间语义,代表着地球实际的物理
前段时间有个朋友休假去了西班牙,回来以后跟我吐槽,在西班牙吃到的海鲜饭还没有在北京吃的好吃:“米饭夹生没有熟,嚼着都嫌硌牙。”  我一听就乐了,国内的餐厅为了适应当地人的口味,对海鲜饭的软硬程度做了改良。其实,“夹生饭”才是正宗西班牙海鲜饭追求的口感。  常有人抱怨欧洲的饮食看起来很美,但要说起中国人最在乎的“主食”,总是绕不开没完没了的面包和土豆,想吃口米饭——难!  然而,在地中海沿岸这几个国
期刊
对美国报业来说,2013年是一个重要分水岭。数据表明,目前仅有不到30%的美国人通过报纸来获取大部分新闻信息,互联网已将报纸远远甩在身后,成为美国人获取新闻的主要工具。美
随着科学技术的发展,三维电子地图已逐步代替了传统的二维电子地图,成为发展的主要趋势,相比而言,三维地图具有便捷、直观、美观等特性,这些优点已经深深吸引着大众的眼球。
城市作为非农经济活动的集聚地,其经济发展伴随着生产密度和要素使用效率由低到高的转变。由经济集聚所导致的密集经济活动能够促进经济效率的提升,且经济密度较大的地区更有利
在景德镇城市公共设施设计中,把代表本地特色文化的陶瓷材料,通过一种新的艺术表现形式,用城市的公共设施设计的方式展现出来,对景德镇陶瓷文化的传承和发展有着积极作用。
党的十五届四中全会通过的《决定》在关于“建立和完善现代企业制度”中指出,对国有大中型企业实行规范的公司制改革,公司法人治理结构是公司制的核心,党委书记和董事长可由