【摘 要】
:
人类社会产生的数据量正呈爆炸式增长,大数据的应用无处不在,查询的响应速度直接影响大数据从业者的工作效率,进而可以影响到社会发展。因此,对查询进行优化,缩短查询的执行时间是十分重要的。查询优化中涉及连接顺序,连接站点,和连接方法等因素且各因素互相影响。所以,建立清晰的模型来描述和评价查询执行过程,设计出适用于当前最新的跨数据源跨数据中心的分布式数据库系统的有效查询优化算法具有重要的理论和现实意义。本
论文部分内容阅读
人类社会产生的数据量正呈爆炸式增长,大数据的应用无处不在,查询的响应速度直接影响大数据从业者的工作效率,进而可以影响到社会发展。因此,对查询进行优化,缩短查询的执行时间是十分重要的。查询优化中涉及连接顺序,连接站点,和连接方法等因素且各因素互相影响。所以,建立清晰的模型来描述和评价查询执行过程,设计出适用于当前最新的跨数据源跨数据中心的分布式数据库系统的有效查询优化算法具有重要的理论和现实意义。本文研究了跨数据源跨数据中心的分布式数据库系统中查询的优化问题,建立了一种以二叉树为载体的查询执行计划描述模型,该模型可以描述查询执行的具体过程。另外,本文还设计了一套查询执行成本计算公式框架,通过该框架,辅以合适的评价公式,就可以对查询执行计划进行准确的评价。算法方面,本文设计了分级动态规划增补集算法、受限分级动态规划增补集算法和改进的基于连接图的贪婪算法三种算法,为看对比算法效果,还给出了一种近乎完全随机的随机左深子树算法和传统的基于连接图的贪婪算法。分级动态规划增补集算法将查询对应的连接图分为多个连通子图,对每个子图应用动态规划,在应用过程中,通过枚举增补实现树对来避免不必要的中间结果。在绝大多数情况下,该算法可以得到全搜索空间中的最优解。受限分级动态规划增补集算法是在分级动态规划增补集算法基础上衍生出来的,该算法通过限制搜索空间的方式仅寻找左深子树结构的查询执行计划中的最优解,降低了算法复杂度。根据经验绝大多数情况下该最优解不会与全搜索空间中的最优解有数量级的差别。针对超大规模的查询,本文在传统基于查询图的贪婪算法基础上进行改进,设计了改进的基于连接图的贪婪算法,将选择因子和传输速度综合考虑,更适合当前跨数据中心的数据库系统。最后,本文进行了大量数值实验,实验结果证明,所提的三种算法的结果比随机左深子树算法优两到三个数量级,其中分级动态规划增补集算法和受限分级动态规划增补集算法的结果又比改进的基于连接图的贪婪算法优一个数量级。但前两者的执行时间随查询涉及的数据表数量呈指数增长,而后者是线性增长。受限分级动态规划增补集算法的结果比分级动态规划增补集算法的结果差约20%,但是求解规模扩大了约30%。
其他文献
大规模优化问题是一种具有高维度和高非线性的极具挑战性的优化问题。在处理此类问题时,传统优化算法依赖问题的数学性能而无法在合理时间内得到有效解,标准进化算法虽然能在
研究目的:抗磷脂综合征(anti-phospholipid syndrome,APS)等自身免疫性疾病被认为与动脉粥样硬化(atherosclerosis,AS)的发生发展有关。其中,APS中主要的免疫复合物β2糖蛋白
党的十八大明确提出,到2020年实现全面建成小康社会宏伟目标,强调要深入推进新农村建设和扶贫开发,全面改善农村生产生活条件。党的十九大庄严宣告,确保到2020年我国现行标准
农机合作社作为一种农业机械化经营管理模式,直接影响着农业机械化发展速度与进程,也影响着经营者的经济效益与经营规模。尽管农机合作社在促进农业机械化发展中发挥了重要作用,成为当前我国农业机械化发展主体模式,但在运行与发展中仍然存在诸多不利因素制约甚至阻碍着合作社的进一步发展。因此,深入开展农机专业合作社调研分析,对提高农业机械化发展水平具有重要的理论与实际意义。德惠市是吉林省和全国的粮食主产区,是吉林
以往有关城市竞争力的研究主要是从单体城市视角展开,重视竞争而忽略其他关系对城市竞争力的影响,以城市网络视角进行研究的框架虽已初步建立,但仍有待完善,且对区域城市进行
随着互联网技术的快速发展,医疗信息化与智能化成为一个主流发展趋势。电子病历(EMR)作为医疗信息的重要载体,解决了传统纸质病历书写混乱、不易于传输和保存的问题,成为重要
现代通信技术的快速发展促使传统控制系统的结构不断发生变化,继而出现了网络与传统控制系统相结合的网络化控制系统(Networked Control Systems,简称为NCSs)。相比传统的控制系统,网络化控制系统虽具有灵活性好、共享性强等优势,但不可避免的也存在着诸多不确定性因素,如通信带宽受限、网络诱导时延、噪声相关性、网络攻击等。上述问题的存在使得针对网络化系统的状态估计研究更具挑战性。此外
随着无线通信技术的发展,无线Ad Hoc网络越来越多出现在现实场景中,作为一种无线自组织对等网络,它无需中心基础设施就可以正常工作。波束成形天线是一种智能天线,相比较全向
随着无线数字媒体内容的爆发式增长,传统单一网络已经无法满足用户需求。因此,无线异构融合网的概念应运而生。能耗(包括移动设备能耗和基站能耗)是极大影响用户体验和系统效
近年来,卷积神经网络和可变形部件模型在计算机视觉领域中取得了令人瞩目的成绩。卷积神经网络作为深度网络的一种,结合传统人工神经网络和卷积运算,通过稀疏连接、权值共享