异构环境下OLAP查询的流水线执行

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:SBRBWD0801
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
OLAP查询是分析型的SQL查询,被广泛应用在许多领域中。查询的执行有多种模型,如物化执行、流水线执行、向量化执行等。在这些模型中,流水线执行能够避免执行时算子物化中间结果而具有较低的时间和空间开销,适合用于执行OLAP查询。GPU数据库能够利用GPU大规模并行计算的能力和高性能的显存加速执行查询,同样适合用于执行OLAP查询。然而,现有的工作并未充分将这两种技术结合起来以加速OLAP查询的执行。将流水线执行进行并行化的方案主要有两种,分别是数据驱动的流水线执行和计划驱动的流水线执行。数据驱动的流水线执行方式中每个线程执行相同的流水线,而计划驱动的流水线执行方式要求在执行前对流水线进行划分,不同的线程可能执行不同的流水线部分。由于采用计划驱动的流水线执行方式时线程间存在数据依赖,可能导致处理器资源的闲置,在CPU数据库中,计划驱动的流水线执行方式的性能通常比数据驱动的流水线执行方式差。由于两种流水线执行方式未在异构CPU-GPU环境下充分研究,它们在异构环境下的性能优劣仍不可知。本文的目的是在异构CPU-GPU环境下设计和实现上述两种流水线执行方式,以充分利用流水线执行和GPU加速OLAP查询的执行,并研究两种流水线执行方式在异构环境下的性能表现。为了使流水线执行在异构环境下正确工作,本文设计和实现了异构环境下的元组传输原语和异构环境下的状态管理原语,分别用于实现跨处理器线程间的元组传输和有状态算子(如哈希连接)的跨处理器执行。围绕上述内容,本文的贡献点如下:·提出了不依赖操作系统同步机制的跨处理器元组传输原语。流水线执行时需要在不同线程间进行元组传输。同构CPU环境下的元组传输原语依赖于操作系统提供的同步机制,而这在异构CPU-GPU环境下是不可用的。本文基于原子指令设计了跨处理器的自旋锁,从而实现异构环境下的元组传输原语,并通过细化锁的粒度提升了元组传输原语的性能。·设计了异构环境下满足多种流水线执行方式工作需求的状态管理原语。流水线执行中存在哈希连接等有状态算子,需要管理哈希表等算子状态。同构CPU环境下的状态管理原语不支持同时被CPU和GPU访问,无法直接在异构环境下使用。本文针对不同流水线执行方式的需求,以哈希表为例对异构环境下的状态管理原语进行了分类和实现。·实现了异构环境下的两种流水线执行方式,并进行了性能比较。基于设计和实现的流水线执行原语,本文进一步实现了异构环境下数据驱动的流水线执行方式和计划驱动的流水线执行方式。此外,本文基于TPC-H测试集对这两种方式进行了性能测试和比较。实验结果反映,在异构环境下计划驱动的流水线执行方式的性能更优。综上所述,本文重点研究了异构环境下确保执行正确性的元组传输原语和状态管理原语,并在以上流水线执行原语的基础上进一步设计和实现了异构环境下数据驱动的和计划驱动的流水线执行方式。此外,本文通过实验评估了设计和实现的流水线执行原语的性能,并对异构环境下的两种流水线执行方式进行了性能比较。实验结果显示,异构环境下计划驱动的流水线执行方式具有比数据驱动的流水线执行方式更好的性能。
其他文献
近年来,随着我国经济社会地不断发展,人民生活水平提升迅速,其健康意识的程度也在加强深化。同时随着老龄化进程的加速、家庭结构的变化,社会公众对于医疗机构护理质量提出新的要求与期待。但现实却呈现多方困境与掣肘,护理需求缺口不断增大与医护资源紧缺之间的矛盾,催生了护工队伍的形成;但围绕护工管理甚嚣尘上的负面反馈,令社会大众加大了对护工行业的关注与讨论。作为补充性护理人员,护工源于市场需求,能及时弥补住院
学位
随着钢铁货运需求的不断增加,钢厂道路拥堵、货车排队时长不确定等问题日益凸显,极大地影响了钢铁货运效率,亟需设计有效的钢厂货车滞留时长预测方法。据钢铁物流数据分析,货车在钢厂的滞留时间主要包括货车厂外排队时长与其在仓库滞留的时长两部分。然而,钢厂不同仓库装卸货作业能力的差异性、货车排队时长的长尾分布、货车在钢厂滞留的多阶段等特性,使得钢厂货车滞留时长预测面临严峻挑战。鉴于此,本文基于真实的钢铁物流数
学位
随着物联网的发展,现有的存储系统无法满足海量小数据块的存储需求,传统元数据架构也无法应对剧增的元数据规模,因此开发一款可扩展且高效的时空大数据架构用来存储、查询、分析和可视化是十分重要的。由于固态硬盘(SSD)和非易失性快速存储器(NVMe)接口等新兴技术的出现,基于非易失性存储器高速(NVMe)的固态器件在延迟和峰值带宽方面提供了前所未有的性能。但是,内核的复杂I/O堆栈阻碍了NVMe固态硬盘的
学位
<正>游戏是幼儿的基本活动,让幼儿在游戏中主动学习、自主发展,这是当下幼儿园课程改革的价值追求。通过有效观察发现幼儿游戏生长点,以环境和材料有效支持幼儿游戏发展,基于幼儿现有经验、当下兴趣及发展需求建构高品质的游戏课程,成为幼儿园课程实践和教育研究的热点。我园以充分、有效、多元、深入、融合为关键词建构游戏课程,
期刊
项目化学习是指学生在真实情境下研究并解决复杂的问题,从而掌握关键能力,该教学模式满足当前育人要求。故笔者基于“+1”教学法改良校本化中职专门用途英语项目化学习框架(下称框架),依次由框架中的项目目标、情境、活动、评价体系梳理具体环节的设计要素并确定项目设计实施路径。根据中职学习的职业性,笔者总结对接职业标准的五点设计原则:项目目标对接技能标准;项目情境对接岗位一线;项目活动对接工作任务;项目评价对
学位
核心素养这一观念在《教育部全面深化课程改革落实立德树人根本任务的意见》中被首先明确提出,以后这一观念被进一步不断的深入挖掘和研究。在《普通高中生物学课程标准(2017年版)》中将高中生物学的核心素养具体提炼为四个主要方面,生命观念、科学思维、科学探究、社会责任,明确了高中阶段生物学课程所需要实现的育人目标,指明了高中教师今后在教育教学中的主要方向。本研究在高中课堂中运用情境化教学的课堂教学策略,探
学位
为慢查询添加合适的索引是提高查询性能的一个有效方法,主要通过数据库管理员等技术人员的专家经验手动选择,或者由基于规则、代价、学习等算法自动推荐索引。无论是哪种方法,都没有考虑到在索引上线到真实业务系统前对其进行评估,其有效性和安全性难以得到保障。这是因为关系数据库一般以代价模型作为执行计划选择的主要依据,而其只是将各类预定义的操作粗鲁地代价化,同时查询优化器获得的统计信息由于数据变更、数据倾斜等因
学位
在开源这几十年的发展中,有的开源项目盛极一时却又迅速落幕,有的开源项目却始终保持屹立不倒。PostgreSQL始终是最活跃的开源关系数据库,无人出其右;而在Docker横行的年代,Kubernetes却异军突起,俨然成为了行业的实际标准。究其根本,还是开源社区这份“土壤”不同,导致了开源项目走上了不同的发展道路。而一个开源项目的治理水平对开源社区的发展起到了决定性作用。因此,如何对一个开源项目的治
学位
金属卤化物钙钛矿半导体由于具备优异的光学和电子性能,如陷阱态密度低、吸收系数高、载流子迁移率大,并且可以通过调节卤素成分实现对发光波长的调控,在太阳能电池、发光二极管、激光器等领域受到了广泛的关注。相比于传统的有机-无机钙钛矿材料,基于无机铯离子的Cs Pb X3(X=Cl、Br和I)金属卤化物钙钛矿具有更好的热稳定性和化学稳定性,对实现高性能的发光器件有着十分重要的意义。本文研究了全无机金属卤化
学位
在我国经济快速发展和居民生活质量不断提升的背景下,居民对居住条件的质量和室内的装修形式有着越来越高的要求。随之而来的,对于不同的装修形式和装修风格所产生的价格也是不一样的。针对每个装饰公司,都可以个性化的按照自己的定价规则来制定报价。基于以上需求,本文所述报价系统可基于设计案例便捷的产生报价清单,并可根据设计案例和用户的实际需求生成多种报价方案,报价过程中可以结合特定条件和用户个性化的需求动态调整
学位