面向海量点模式分析的时空Ripley’s K函数优化与加速

来源 :武汉大学 | 被引量 : 1次 | 上传用户:junfeng_19860313
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着传感器的广泛应用与信息基础设施的日益完善,越来越多的时空点数据被记录和收集下来,成为研究现实世界各类自然现象、社会事件的数据基础。时空Ripley’s K函数作为点模式分析的代表性方法,为研究不同时空尺度下点对象的分布模式提供了有效支撑。然而,全局的点对关系判断以及复杂的边界校正权重计算,使得时空Ripley’s K函数的时间复杂度较高。随着数据规模的增长,计算耗时指数级攀升,阻碍了时空K函数在海量点模式分析中的应用。
  随着并行计算技术及高性能地理计算的兴起,基于多核CPU、众核GPU的并行计算技术已被用于空间Ripley’s K函数的优化与加速,相关实验也验证了并行Ripley’s K函数性能提升的可行性与潜力。但多核众核并行Ripley’s K函数的优化方法受制于单机存储能力,无法完全胜任当前大数据分布式存储与处理的潮流。同时,已有的分布式空间数据处理系统对于时空数据对象细粒度管理、操作与编码的支持不够完善,不能满足时空Ripley’s K函数的任务执行需要。
  为此,本文基于时空优化原则与Apache Spark分布式计算框架,提出一种分布式时空K函数的计算方法,降低时空Ripley’s K函数在海量点时空模式分析中的应用门槛。该方法包含四项优化策略:(1)利用时空索引缩小点对比较范围,快速获取满足时空阈值的点对;(2)通过双层缓存来复用时空校正权重,避免重复计算;(3)基于时空邻近性优化数据分区流程,减少分布式环境中的数据冗余;(4)面向时空对象与时空索引设计定制序列化方法,精简二进制序列内容,减少数据传输量,降低序列化与反序列化的 CPU 负荷。其中,前两种策略致力于降低时空Ripley’s K函数的时间复杂度,缓解算法本身的计算密集问题;后两种策略注重提升时空Ripley’s K函数在分布式环境下的执行效率,应对数据密集问题。
  实验结果表明四项优化与加速策略能够有效为时空Ripley’s K函数带来性能提升以及弹性伸缩能力。同时,本文讨论了时空Ripley’s K函数的输入参数对执行效率与计算结果所产生的影响。基于上述优化策略,本文设计了分布式时空Ripley’s K函数可视化分析框架,并实现原型系统;通过案例数据分析,展示本文方法的技术可行性与潜在应用价值。本文研发的并行算法可用于十万及百万级时空点对象时空聚集模式的挖掘与可视化分析。同时,本文方法可为时空Ripley’s K函数及其他点模式分析方法的算法并行化及可视化分析框架研发提供参考。
其他文献
由于我国城镇化的迅猛发展以及极端气候等因素的出现,且为城市水环境等问题,引入一体化泵闸站。一体化泵闸是在闸门上安装贯流泵的一种新型水工结构形式,其水力特性及安装参数前人研究较少。因此,探究一体化泵闸水力优化数值模拟研究显得十分必要。以某地区一体化泵闸工程为背景,基于CFD数值模拟方法,研究在2种不同贯流泵形式、泵安装数量、不同几何参数与拍门开启角度下,通过不同方案对比分析对一体化泵闸水力特性的影响
学位
斜轴伸贯流泵装置具有流道水力损失小、开挖深度要求低及安装检修维护方便等优点,多被用于长江三角洲、珠江三角洲等地区。在泵站实际运行过程中,斜轴伸贯流泵装置易存在振动、噪音、叶片裂纹等影响泵装置机组安全稳定运行的现象,为提高此类泵站装置机组的水力运行稳定性,本文对斜轴伸贯流泵装置内流场及叶轮的流固耦合动力学特性开展研究,主要的研究工作和结论如下:(1)获取了不同流量工况时斜轴伸贯流泵装置各过流结构的熵
学位
里下河腹部区是淮河下游相对封闭的低洼圩区,河网交错纵横,与长江水系关系密切。作为江苏省主要的粮食生产和水产养殖基地,长期保持传统农业生产方式,水生态环境面临面源污染物的威胁。区域内的水文事件和洪涝灾害的研究成果较多,但对水质时空变化特征及其原因的研究较少。泰州是里下河腹部地区的主要城市之一,长期受到工农业水污染的威胁。本文以里下河腹部区泰州地区为研究区域,分析水质的时空变化特征并探讨水质变化的原因
学位
随着经济的发展和技术的提高,变频泵已经在国内有压梯级输水泵站中得到了广泛的应用。但在供水工程中,如果干、支管线出水口的水量需求变化较大,运行工况较为复杂,针对供水工程中可能出现的各种运行工况,需要对泵、阀进行反复调节才能达到目标水量,操作繁琐。而且,基于人工试调节的方式会造成多数工况泵组运行效率低、流量不平衡、机组噪音及振动较大等缺点。笔者将在前人研究成果的基础上,通过建立长距离有压梯级输水系统运
学位
白马湖是大型浅水湖泊,因圈圩养殖、围湖造田等人类活动的影响,近年来,白马湖防洪滞涝调蓄库容严重减小,严重影响白马湖防洪滞涝功能效用的发挥,白马湖湖泊的水文环境、水质情况均有不同程度的恶化。构建水动力模型进行模拟,可对湖泊水动力的变化进行分析与探究,并可以此为依据提出合理的退围还湖方案。对白马湖进行水动力-水质耦合模拟,能够对白马湖水质变化规律作深入的解析,并由此制定白马湖湖区污染治理措施,有着深刻
学位
竖井贯流泵装置是一种新型特低扬程泵站结构型式,其电机安装于竖井内,具有结构简单、装置效率相对较高、维护方便等许多优点。随着竖井贯流泵装置应用越来越广泛,对其的研究也越来越多。常用双向泵水力模型叶轮叶片数为4片,导叶叶片数为5片或7片。为了安装方便,原型泵导叶通常采用分半结构,5片和7片的导叶分半存在困难,例如像龙山、大河港等泵站均提出能否将导叶叶片改成6片的问题。但是,若将导叶片数改为6片,则叶轮
学位
上海航塘港泵站是一座新建单向排涝泵站,直接保护对象为经济发达的上海平原地区,人口密集,属于“特别重要”的保护城镇。泵站设计流量60m3/s,运行净扬程为0.0m~3.87m。主要建筑物泵站等级为1级水工建筑物,泵房结构复杂,规模较大,其结构型式影响因素比较多,设计中需认真做好方案比较工作。泵装置是整个泵站的核心部件,为了保证泵站可以安全、高效的运行,需要对航塘港泵站泵装置的水力性能进行进一步研究。
学位
泵站工程作为水利系统中十分关键的一环,其前池和进水池等都属于泵站的进水建筑物。作为供水泵直接吸水的建筑物,进水池显得尤为重要,若本身采用侧向进水方式或布置形式不合理,会导致内部流态较为紊乱,产生一系列漩涡、回流和偏流等不良流态现象,进而导致机组发生严重的汽蚀和振动,显著降低水泵的能量性能和汽蚀性能,影响整个泵站的安全运行。本文以贲家集泵站为研究对象,以改善侧向进水池内的流态为目标,分析现有结构下进
学位
南水北调东线泵站工程全部建成后,已进入全面调水运行管理阶段。运行阶段,确保泵站的稳定、安全运作是主管部门承担的主要责任,而泵站机组的安全、稳定运行是保证正常供水,发挥工程效益的关键。因为故障或事故停机而造成供水中断会带来较大的经济亏损,以及不可忽视的负面影响。因此,大型泵站的稳定性事关泵站抗旱、排涝、调水效果的发挥。调查收集南水北调泵站常见的故障,分析故障发生的位置以及原因。研究结果表明:(1)水
学位
不透水面是城市最显著的地物类型,是城市发展程度的重要标志,对城市生态环境,如地表径流、空气质量和热岛效应等,具有重要影响。我国正处于快速城市化进程中,城市的外向扩张与内部更新导致不透水面的剧烈变化。一方面,为了满足城市人口日益增长的生活、工作空间需求,城市面积不断扩大,建设用地大量侵占其它土地资源,使得不透水面持续增加;另一方面,为了应对城市土地紧张的状况,政府施行城市更新计划,对低效的城市用地进
学位