大数据查询性能优化的研究与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:ji5214
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,随着各行各业中数据量的不断增加,数据库所承受的压力也越来越大。从用户的角度看,数据库查询的效率在很大程度上会影响用户的个人体验。从数据库自身的角度看,随着数据量的不断增加以及网络用户群的不断扩大,在原有的体系架构下,其对应的事务查询响应速度、整体的事务吞吐量以及事务的并发处理能力也越来越依赖于硬件上的规模及配置。在查询过程中,缓存的重要性也越来越突出,而如何能够更加充分地利用缓存,来提高大数据查询的效率,以及如何能够以更小的代价来扩充数据库对外支持的事务查询并发数、加大大数据查询的吞吐量,则成了大数据查询中的核心问题。因此本论文重点研究了大数据查询下数据库对外事务的并发查询以及数据库中预热点缓存技术。近年来,关于大数据查询领域的研究已经有很多,在数据库对外提供事务并发增大方面的研究主要集中在数据库连接池技术,数据库分布式技术,以及如何通过利用缓存来提高查询效率进而间接地扩大单位时间事务的并发数等问题上。而对于缓存技术的研究,则主要集中在缓存架构,存储格式以及缓存的剔除策略上。对于通过使用缓存内容来提升数据库查询速度,以及通过查询内容的有效处理来提升数据库对外处理事务并发能力的提升,相关研究还是很少。本文针对大数据查询中数据库对外支持的事务查询并发数限制问题,以及通过缓存内容提高大数据查询响应速度问题,设计了SQL-Combines机制和热点数据预取机制。其中,SQL-Combines机制能够保证不同类型下的查询语句进行高效合并,降低不同查询对于数据库资源上的竞争,并提高整体的查询速度。而热点数据预取机制则通过知识模型来获取未来可能热点,通过合适的预取机制对可能热点数据进行预存缓存,从而提高数据库的查询相应速度。本文通过在服务器上搭建真实平台架构,并根据巴莱多定律模拟真实访问情景,并进行了多方面的对比实验,证明了 SQL-Combines机制和热点数据预取机制的有效性和优越性。最后,基于对全文的总结,指出了本文工作的不足和可以改进的地方。
其他文献
新时期下,随着我国市场经济体制的不断深化,企业的外部经营环境和内部管理环境出现了一定的变化,财务审计作为企业管理的关键组成部分,其重要性和作用性也更加凸显,通过财务
介绍百乐克工艺处理城市污水的工艺参数和运行效果,促进百乐克工艺的推广应用。以具体工程为例,介绍工艺流程、工艺参数以及构筑物的尺寸,并结合处理效果讨论设计特点。运行
俗话说,好记性不如烂笔头.的确,上课时把老师讲的概念、公式和解题技巧记下来,把听过或看过的重要信息清晰地保存下来,有利于我们减轻复习负担,提高学习效率.本文分析在高中
<正> 1 高血压的一般症状高血压的临床表现一般缺乏特异性,起病大多缓慢渐进,部分患者无症状,但也有一小部分患者起病急,反应强烈,血压迅速升高。常见的一般症状如下:1.1 头
stata是一款强大的统计软件,本文利用stata10进行审计抽样。首先利用stata10确定属性抽样和变量抽样的样本规模,其次利用stata10创建随机数表和进行等距抽样。
中国人非常注重人情。一个人在社会上立足,很大程度上得益于人情。有些时候,有了人情,不易办的事变得容易办;没有人情,能办的事也不太好办。因此,能否有效地建立人情、沟通人
<正>一、什么是斗牛舞斗牛舞从外文音译过来叫帕索多波累,我们习惯于叫它为斗牛舞。斗牛舞起源于西班牙。斗牛舞的舞蹈动作是模仿西班牙斗牛士的动作,它的音乐是用西班牙风格
<正>美国认为,网络空间是一个让美国所面对风险不断加大的领域。因此,网络空间安全一直是美国近年来高度关注的问题,早在2005年美国就把网络空间定性为陆、海、空、天以外的
当今中学生田径比赛正朝着高水平的方向发展,竞争非常激烈。在竞技比赛中,中学生田径运动员情绪是复杂多变的,极大的影响着他们竞技水平的发挥。在中学生田径比赛中,有的运动
<正>福建是一个海洋大省,海域面积13.6万平方公里,海岸线长3323公里,岛屿1400多个,其中台湾当局控制的岛屿30多个。辖区渔船民15万多人,船舶5万多艘,海洋业兴起较快,海上治安