计算存储分离数据库哈希连接功能的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:l1otus
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云技术的发展,对云上的数据进行分析的需求正在不断提升。在分析型应用中连接查询是最复杂和代价高昂的操作,其往往涉及较多的数据,会带来繁重的磁盘输入输出(I/O),在计算存储分离场景中还会带来繁重的网络I/O,从而降低哈希连接的执行效率。因此,为计算存储分离数据库提供优化的哈希连接功能具有重要意义。从哈希连接的优化入手,面向计算层,提出了采用哈希连接和索引灵活选择的优化方法CEHJ(Calculate Layer Hash Join)。该方法通过为原来的执行器增加哈希连接执行功能,使哈希连接可以部分取代块循环嵌套连接;同时,在给出的哈希连接执行的代价估算方法中,对两表之间的等值连接,通过分析通过哈希连接取代索引循环嵌套连接的可能性,使优化器可以自动选择对一个单位的等值连接是选择哈希连接进行处理还是索引循环嵌套连接进行处理。为了降低哈希连接参与的表的网络I/O,从代价估算、查询下推、存储节点并行执行、数据管理四个部分入手,进行查询下推哈希连接优化(SQL Push Down Hash Join,SPHJ)。代价估算部分计算单表参与查询执行的所有列的大小之和占整行记录大小的比例,判断是否需要对特定的表进行单表下推优化。查询下推部分遍历优化器给出的执行计划,根据识别出的信息构造相关SQL语句并发送给相应存储节点,剔除在原执行计划中已经下推的条件,接收来自存储节点的执行结果。对原来的存储节点进行调整,使之支持选择投影操作,并将查询结果返回给计算层数据管理部分。数据管理部分构造执行器获取数据的新接口,支持缓存数据并可供执行器通过接口获取相应数据。为了使哈希连接的执行更接近数据,在单表查询下推优化基础之上,增加哈希连接下推到存储节点并行执行,参与哈希连接的表的相关选择和投影以及条件也会在存储节点执行,执行结果返回给计算层作为中间结果,聚合排序等操作在计算层执行。使用TPC-H对优化前后的执行效果进行测试,结果表明在保证查询返回结果正确性的前提下,哈希连接的执行效率得到了明显的提升,进而提升了整个查询的执行效率,平均执行时间比优化前快10倍以上。
其他文献
大数据的一个重要特征是多模态,不同行业领域的数据来源广泛、形式多样,每一种来源或形式都可以看作是一种模态,例如视频、图片、语音等。基于这些多模态数据,用户可能选择任何媒体形式的内容作为查询条件,因此跨模态数据之间的信息检索具有非常广阔的应用空间,已经成为目前研究的一个热点问题。跨模态检索的主要挑战是如何弥补不同模态间的语义鸿沟,目前已有的基于深度学习的跨模态检索方法通常利用神经网络单独学习每个模态
学位
强化知识产权保护是新发展格局下中国实现贸易竞争力提质升级的重要举措。本文将知识产权保护与全球生产分工纳入异质性企业框架,从成本节约效应和价值链提升效应揭示出技术后发国家增强知识产权保护提升企业出口国内增加值率的影响机制,以及技术距离的调节效应。然后,本文运用2000—2013年中国工业企业数据库和中国海关贸易数据库匹配数据进行实证检验,发现强化知识产权保护将显著提高企业出口国内增加值率,其作用机理
期刊
随着深度学习的发展和各种终端设备算力的提高,人脸识别被广泛的应用在生活的各个领域,人脸检测和跟踪是其中重要的一环。在实际环境中,人脸检测和跟踪处理图像的质量受到多个因素影响,如不同的摄像头对成像的处理、环境光的明暗变化、人脸面部遮挡物和面部姿态等。这些因素会导致在数据集上运行良好的算法在实际应用效果不佳。针对实际应用中人脸检测跟踪需求,设计并实现了面向复杂环境下的轻量级人脸检测跟踪系统。首先建立数
学位
轨迹数据是对移动对象的运动过程进行采样所获得的地理信息序列。随着GPS设备的普及,轨迹数据规模呈爆发式增长,这使得可以通过分析轨迹数据来方便人们的生活。基于轨迹相似度的k最近邻查询是轨迹数据分析的基本运算之一。然而,海量的轨迹数据使得现有的单机算法无法高效地完成查询任务。分布式方案能够利用多台机器的资源去加速查询过程,但目前最先进的分布式方案存在计算资源浪费和局部索引查询效率低的问题。为了解决上述
学位
最短路径问题是路网中一个基本的计算问题,在GPS导航、POI推荐以及路径规划等服务中有着广泛的应用。Dijkstra算法是解决最短路径问题的常用计算算法。给定查询起点和终点,它按照到点距离的远近顺序依次访问其他节点,并在到达终点时终止搜索。该算法简单精确,但是具有很高的复杂度,无法应用于路网这种大规模网络。因此,研究人员们采用基于索引的方法来解决在线搜索开销大的问题,而标签索引表现出了绝对的优势,
学位
深度卷积神经网络的出现使人工智能得以迅速发展,使得人工智能在许多领域发挥出举足轻重的作用,如智能家居、智慧医疗和智能交通等。智能化水平的提升不可避免的要求深度卷积神经网络更加复杂,以应对复杂的应用场景。然而硬件的发展遇到瓶颈,硬件资源提升的速度已无法跟上模型复杂度的增长速度,模型越来越难训练,使得人工智能的入行门槛也越来越高。物联网中的移动终端中存在着丰富的空闲硬件资源,如何利用它们成为了人工智能
学位
在信息技术的高速发展的现代社会,海量的数据常结构化存储于数据库中,在检索数据时,需要用到统一数据库查询语言SQL。但SQL作为有严格语法规则约束的结构化查询语言,需要用户具备数据库和SQL专业知识,使用门槛较高,对非专业用户不友好。近年来,为了提高数据库的信息检索效率、降低用户的使用门槛,使数据库能更好服务于大众,由计算机将自然语言问题直接生成为SQL语句的研究得到了人们的关注,该研究任务被称为T
学位
伴随企业数字化转型与经济数字化发展,交易型数据库管理系统以其高实时响应性能与事务处理安全可靠特性,已越来越成为国计民生行业中数据基础设施的重要组成部分。其运行时若出现不稳定表现或突发崩溃对企业或民生基础设施将产生巨大损失与严重后果。针对此问题,设计实现了一套测试工具,能对交易型数据库的运行时稳定性性能进行测试。测试工具着重增强了干扰场景。针对数据库运行时会受同服务器服务进程物理硬件资源占用的干扰,
学位
现如今,随着各行各业信息化建设的加快和产业规模的扩大,人们为了更加精准高效地获取更多的前沿信息以开拓视野增加认知,都会使用智能问答系统进行查询。智能问答系统是一种基于人工智能的、比传统搜索引擎更为强大和高效的信息检索系统,也是用户使用自然语言和计算机交互的一种重要形式。一个良好的智能问答系统需要丰富的底层语料库参与以便能提供推理决策支持,所以如何从语料库中组织出决策所需的相关信息以帮助系统更好的完
学位
随着大数据时代的到来,使用数据库对海量数据进行管理已经成为多数应用场景中的优先选择,数据存储的安全性也更加重要。数据库加密存储技术的研究和应用极大程度上解决了数据安全的问题,检测数据库的加密功能也成为了评估数据库安全等级的标准要求之一。为了检测数据库的安全等级,需要开发一个数据库加密算法识别工具,识别被测数据库加密接口提供的密码算法,检测数据库产品提供的加密功能是否达到了安全标准的要求。结合加密算
学位