跨平台统一大数据智能化SQL查询系统研究与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:wuxiaoxin888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着各行各业对大数据分析处理应用需求的不断增长,大数据查询系统逐步向多样化方向发展。这些数据查询系统在查询语言、计算模型、系统架构与底层存储技术等方面各有特点,适用于不同垂直应用场景,因此现代企业或组织为了处理多样化业务,通常会构建多种不同的数据查询系统。然而,很多综合性业务需要能进行便捷、高效的跨平台数据查询,例如,同一个机构跨部门之间的数据统一分析业务就有这种需求。因此,如何充分利用不同计算平台的特性完成高效便捷的跨平台数据查询已成为当前学术界与工业界的研究热点。现有工作在模型结构与查询性能方面都存在一定不足,难以满足复杂的跨平台数据查询实际应用需求。针对现有工作的不足,本文研究提出了一种跨平台统一SQL查询模型及其性能优化方法,并在此基础上设计实现了一个跨平台统一大数据智能化SQL查询系统Coral。本文主要的研究内容与贡献点包括:(1)提出了跨平台的统一SQL查询模型。首先,模型提供统一的查询语言,能够表达查询的跨平台特性,支持对不同平台上的表进行连接(Join)操作。在此基础上,模型拓展了查询语句的关系代数形式,使查询优化能够生成和执行平台相关的执行计划。最终,模型通过跨平台调度器实现了执行计划的跨平台自动调度,整个跨平台查询过程对用户完全透明。(2)设计了规则驱动和数据驱动相结合的混合式跨平台查询优化器。系统内部包含两种针对不同查询场景的优化器。其中,基于级联机制(Cascades)的优化器将数据源之间的转化以经验规则的方式集成进Cascades优化器中,在保持Cascades优化器优点的基础上实现跨平台查询优化,以减少数据迁移和查询执行开销;基于深度Q网络(Deep Q Network,DQN)的跨平台查询优化器使用机器学习技术生成数据集自适应(Dataset-specific)的连接搜索策略,在给定成本模型和搜索空间时,该优化器可以针对特定数据集在所有可能Join plan中优化搜索过程,并根据以前的计划实例结果学习特定的搜索策略,从而显著减少执行计划的搜索时间,提升优化效果。(3)设计了基于查询历史与查询代价分析的子查询缓存模型。该模型根据查询历史和查询代价选择合适的子查询结果持久化到合适的底层平台,并通过缓存匹配和复用算法替换匹配的子查询,从而减少重复的迁移与计算开销,优化跨平台数据查询的性能。(4)基于上述提出的查询模型框架与性能优化方法,本文设计实现了一个高效的跨平台统一大数据智能化SQL查询系统Coral。该系统集成了Mem SQL、Clickhouse与Postgre SQL三个不同特点的主流数据库。Coral为用户提供统一的跨平台查询语言,内置多种跨平台查询优化器,并通过代码生成(Codegen)技术提升执行性能,能够自动、高效地执行用户提交的跨平台查询请求。Coral还为用户提供了良好的配置和访问接口,方便用户部署和使用。(5)通过实验对本文提出的跨平台查询系统Coral及其相关优化技术进行性能评估分析。实验表明,本文提出的混合式跨平台查询优化器通过结合传统优化器和数据集自适应的优化器,能够有效减少生成执行计划的时间,提升执行计划的效率;缓存模型在子查询重复访问的情况下效果明显;与主流跨平台查询系统Mu SQLE和Sloth相比,本文提出的Coral在跨平台查询上取得了更好的性能,相比于Mu SQLE平均达到5.03倍加速比,相比于Sloth平均达到2.04倍加速比。
其他文献
《庄子》云:“人生如白驹过隙.忽然而已.”人生几十年.弹指一挥问.既要追求价值实现.更要享受生活乐趣。人生的快乐出自拥有的一切.而难填的欲壑正是痛苦的源泉。知足常乐。知足方能
近年来,随着汉语在世界各国的广泛传播,越来越多的外国学习者对中文与中国文化产生了浓厚的兴趣。但是,由于语言的不同及文化的差异,学习者并不能迅速地掌握汉语并理解中国文化。在汉语口语教学中,提高学习者的口语交际能力以及对中国文化的认同是教学的主要目标。但是目前在口语教学中,部分汉语教师往往过于注重词汇、语法的教学,而忽视了学习者得体地、流利地使用汉语交际的这一根本目标。本文正是从目前汉语口语教学存在的
<正>1研究区概况南阳位于河南省西南部、豫鄂陕三省交界处,为三面环山、南部开口的盆地,因地处伏牛山以南,汉水以北而得名。全市现辖2区、10县、1个县级市。总面积2.66万平方
会议
2002年10月,海门市被省政府确定为全省集体建设用地使用制度改革的两家试点单位之一。7年来,海门市以实现集体建设用地同国有土地“同地、同价、同权、同场交易”为目标,建立城
大数据时代的到来,电力智能化高科技设备层出不穷,出现了智能抄表系统、智能在线状态监测系统,智能电力设备故障诊断系统、智能运营分析系统以及电力全景可视化大数据平台等
目的前交叉韧带(ACL)损伤是运动损伤中最为普遍的,前交叉韧带损伤后患者表现为膝关节不稳定,尤其对于运动员,将对其产生重大影响。当前在关节镜下行膝关节前交叉韧带重建手术
会议
目的探讨关节镜下人工韧带治疗膝关节前交叉韧带(ACL)断裂的疗效。方法对30例ACL断裂患者实施关节镜下LARS人工韧带重建术。结果 30例均获随访,时间3~11个月,膝关节不稳症状
<正>前交叉韧带(ACL)是膝关的重要稳定结构。当膝关节屈曲>30°时,ACL提供限制胫骨向前滑移的主要力量。除了受外伤的患者,前交叉韧带损伤较易发生于受伤的运动员。单纯ACL损
会议
4月9日~11日,2011中国(无锡)吴文化国际研讨会在无锡市举行。本届研讨会由中国社科院科研局、江苏省社科联、江苏省社科院、无锡市人民政府主办,由中共无锡市委宣传部、无锡市社科
目的:探讨经腹及经阴道彩超在诊断异位妊娠中的应用对比。方法:选取我院在2009—2011年间收治的162例异位妊娠患者,年龄在23--42岁之间,所有患者均经临床确诊为异位妊娠。对所有