基于深度学习的数据库查询时间预测算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:sunleilong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着大数据产业的迅猛发展,数据库作为大数据时代的中心,几乎已经渗透到所有行业领域,成为了一项重要的生产因素。并且随着各行业对于数据的需求和依赖程度的不断提高,传统的数据库管理系统(DBMS)逐渐演变成可以处理海量数据的分布式数据平台。对于分布式的数据平台来说,数据库的负载管理和性能调优依然是永恒的话题,而数据库的查询执行时间预测模型也即成本预测模型是提高其效率的关键,同时查询时间的预测还可应用于很多数据库场景,比如查询任务的权限控制,查询任务调度、查询进度监控、数据库系统规模定制等方面,因此查询执行时间预测问题一直有着十分广阔的应用前景与研究价值。本文主要的工作内容如下:1)本文通过调研,了解当前查询执行时间预测方面的研究进展和现状。由于在分布式环境下,数据库部分统计信息获取困难,中间结果预估不准确等问题导致了传统成本模型很难精确的预估查询任务执行时间。针对上述问题,本文提出了面向分布式数据库系统的查询执行时间预测方案,该方案避免了进行中间结果预估操作,选择充分利用商用分布式数据平台积累的历史查询任务数据——历史任务列表及其资源分配和完成情况等日志数据,并借助机器学习和深度学习等技术建立了端到端的查询时间预测模型,准确估计查询任务在一定的资源限制下的预期完成时间。2)本文为了验证提出方案的可行性,收集了大量商用分布式数据平台的历史查询日志数据作为实验数据。本文对历史查询日志数据进行大量预处理操作,并针对本文方案进行了相应的特征选取与挖掘,将树形结构的查询执行计划通过拓扑排序和独热编码等手段转变为可以入模的特征向量。最终选用技术成熟、性能稳定的机器学习模型进行实验,通过实验结果和模型的学习曲线证明了方案的可行性。3)为了进一步提升查询时间预测模型的精度,本文针对机器学习模型不能学习数据中序列信息这一情况,设计了一种基于深度学习的联合训练模型,模型由序列模块和深度模块组成,并采用了 LSTM、残差网络和批归一化等技术来改进模型的效果。最终通过在真实数据上的大量对比实验证明了本文提出的基于深度学习的模型在查询执行时间预测问题上的优越性。
其他文献
对于一个稀疏的或者可压缩的信号,压缩感知可以用远低于奈奎斯特采样频率对信号采样的同时进行压缩,并且使用少量的观测值即可实现对数据重建,克服了传统高分辨率雷达采样的局限性。在压缩感知理论框架下,SAR成像大大减少了雷达数据的存储和处理时间。本文从信号的稀疏表示、测量矩阵的构建、信号的重建方法三个方面对压缩感知理论框架进行了系统的分析,针对传统SAR图像重建算法进行了深入研究,并在SL0算法和NSL0
在视觉搜索任务中,人们可以根据不同的搜索情境,灵活地对目标相关信息产生注意捕获和抑制目标无关信息,调节自上而下和自下而上的加工水平。具体来说,在非目标凸显条件下,可以增强自上而下而的加工水平,而在目标凸显条件下,可以减弱自上而下而的加工水平。老年人是否能像年轻人一样,在不同的目标凸显情境下采用不同的加工方式,目前尚不清楚。为了研究年龄对认知控制灵活性的影响,本研究采用2(年龄:老年组、年轻组)×2
少数民族新闻传播的发展在当代学术研究范围内逐渐形成一定规模,东北作为我国朝鲜民族占比最高的地区,其新闻传播事业具有相当的研究价值,本篇论文即将其作为研究对象,采用田野调查与文献梳理相结合的研究方法,按照其发展历史、过往成绩、所遇困境、原因分析进行逻辑梳理,并提出相关建议及对策。本文采用田野调查与文献梳理相结合的研究方法,对各朝鲜文报社所在地进行实地调研,采访主编、副主编、新媒体记者等数人,从创刊背
预告登记是我国物权法上一项重要的制度,在防止一物二卖、稳定房地产市场方面发挥着重要作用。然而,我国物权法对于预告登记的规定过于简单,预告登记的效力能否突破物权法延伸到其他领域也没有明确规定,导致在法律适用上有诸多的矛盾。在破产法领域里主要涉及的矛盾就是经过预告登记的合同,破产管理人能否行使选择权,解除或者继续履行该类合同?关于这一问题,实践中也是存有争议的。一面是预告登记制度的实现,一面是破产管理
在经过几年的油画学习和艺术创作之后,必须要找到一个适合的绘画语言来作为传达绘画感受的载体,并且在考量各方面的因素情况下找到适合的概念进行主题创作。地域文化性对油画
我们经常会在日常会话中听到“想了又想”、“高是高”、“总归,小学生就是小学生”等通过重复同一词语来表达自己观点的表达方式。这种表达方式被称作“同语反复”,是指前后句子成分由同一词语充当构成的句子。前后句子成分虽表面相同,但实际表达意义不同。近年,各国学者都对同语反复这一语言现象阐述了自己的看法。美国哲学家、语言学家Grice认为,人们之间的交谈之所以能够顺利进行,是因为双方都遵循了一定的原则,相互
侦查讯问工作是整个刑事诉讼程序的开端,保障讯问过程的合法性直接关乎案件办理的公平正义。近年来连续发生的冤假错案已经影射出非法取证的危害。为遏制刑讯逼供、非法取证
出版社:中信出版集团出版时间:2020年7月内容介绍对于人人都知道的"主题要鲜明,观点要新颖,结构要清晰"等公文写作要求,究竟怎么样才能做到?具体运用什么方法?作者在回答这些
人体属性分析在计算机视觉中是一个重要的研究课题,在人脸验证以及行人检索方面都有很多重要的应用,提高属性的识别率,对提升基于属性特征应用的效果有很大帮助。人体属性分
民国电影是中华民族电影发展历程中的重要组成部分,同时民国电影产业的发展也映射出民国资本主义工商业蓬勃发展的景象。自晚清以来,电影传入中国经历了若干个发展时期,其拉动需求、带动消费的特点在民国民族资本主义发展史上占据了重要地位。通过对民国时期上海电影产业相关史料的初步分析后,本文将民国元年1912年至抗战全面爆发前夕1937年作为主要研究阶段。主要将电影产业划分为“制作——发行——消费”三个方面进行