分布式列式内存数据库存储引擎优化方法的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lgx9527
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,人类存储了大量数据,如何高效的处理这些数据也越来越引发人们思考。传统的在线事务联机处理(Online Transaction Processing,OLTP)型数据库系统不能有效的满足人们分析海量数据的需求,而在线联机分析处理(Online Analytical Processing,OLAP)数据库系统受到广泛关注,成为人们研究热点。内存容量的扩大和价格的平民化,使得数据可以直接存储于更接近CPU的内存之中,内存配合列式存储的方式,可以极大的提升数据处理效率。但目前内存数据库的存储依然有些不足,比如:数据分布散乱,不能有效过滤无关数据,导致需要访问多个数据分片;数据组织方式单一,对于不同特性的数据采用相同的数据编码方式。本文将针对分布式列式内存数据库存储引擎的各种问题,从数据划分、数据存储、数据传输、数据计算等多个方面提出优化方案,目的是高效组织数据,降低内存使用的同时,提升存储引擎访问效率。主要工作内容如下:1.设计并实现新的数据分区方式。改变数据原有离散存放的特性,提出一种适合分析场景下的数据划分方式,并建立多级统计信息。将数据按某属性值划分为若干组,组内按另一属性值排序,并且每组按列为单位存储和管理数据,减少原始表Row ID的影响,只需维护组内的Row ID映射关系,减少维护Row ID的代价。每组的各列数据可继续划分为更小的存储单位,并在每个层级建立统计信息,以便按不同粒度选择扫描数据。2.设计并实现多种存储格式和中间数据结构。针对不同的数据组织形式,可按照数据自身特性选择适当的数据存储格式,兼顾访问速度与空间使用效率。并基于存储结构,优化不同节点间传输数据的中间数据结构,降低网络通信开销,并减少内存消耗。3.设计并实现存储层算子。基于特有的数据分区方式,在一定情况下选择存储层算子,使之可以在存储引擎中完成部分计算,减少大量数据传输,提升存储引擎的资源利用率,降低查询时延。本论文是在自主研发的分布式列式内存数据库GoldFish基础上优化,并对优化后的系统从功能和性能两方面进行测试,结果显示,内存占用大幅减少,查询性能也有不同程度的提升。
其他文献
近年来,随着移动互联网技术的飞速发展,越来越多的数据开始以复杂网络的形式呈现在人们面前,人们的生活也处于各种各样的复杂网络之中。因此,如何分析研究隐藏在复杂网络背后的特征规律就成为了学术界和工业界普遍关心的热点问题。随着复杂网络分析技术的进步,复杂网络具有的“小世界”特征、无标度特征和社区结构特征被相继发现。其中,社区结构是复杂网络中最为重要的特征之一。一般而言,社区结构是指社区内部节点之间的连接
学位
目的:通过检索中国知网(CNKI)、万方、维昔网络资源数据库中关于癌痛中药外治方药的文献,收集整理出本次研究所需数据,通过软件辅助分析计算出治疗癌痛的中药外治方药的用药规律,为临床实践活动提供参考。资料与方法:通过计算机在中国知网(CNKI)、万方、维昔网络资源数据库中以“癌痛”“中药”“外敷”“外用”“塌渍”“敷贴”“外搽”为检索词进行主题检索,时间限定为1990-2020年期间发表的相关文献,
番茄褪绿病毒(Tomato chlorosis virus,ToCV)为长线形病毒科(Closteroviridae)毛形病毒属(Crinivirus)病毒,自2013年在我国山东爆发,现呈全国扩散趋势,严重威胁我国番茄等茄科重要经济作物的安全生产。加强该病毒的快速检测技术体系,病毒与寄主互作的分子机制等研究,可明确该病毒在我国的扩散分布,分析其对番茄等重要经济作物的潜在威胁,也可为该病毒病的科学
随着分析化学学科的不断发展,生命科学领域中蛋白质、核酸、生物小分子等相关信息越来越多地需要借助于生物传感技术来进行分析和检测获得。快速并且准确的获取某些生命分子的信息对生物医学以及临床诊断和治疗具有重要而积极的意义。随着医学诊断水平的不断提高以及科学研究的持续深入,对生命科学中检测方法的要求也相应的日益提高。开发可以更好的满足研究和各种实际应用需要的,并且具有高灵敏度、高特异性、低成本、简单快速的
学校心理健康管理的状况可以从理念的先进性、机制的完备性、过程的完整性、成果的有效性四个方面考察。理念的先进性强调遵循政策指导、符合社会发展、确保理念的科学性。机制的完备性可以从队伍建设、工作体系、工作制度三个方面进行考察。过程的完整性强调青少年心理健康教育要落实到校园生活的每个阶段和每个方面。成果的有效性则以较为直观的方式反映出学校心理健康管理的状况。
随着企业的发展,经营者愈加重视现金流管理,提高企业现金流运转速度以及现金的利用率能够帮助企业更好的持续发展。现金流量管理作为房地产企业一个重要的管理内容,也是当前我国很多地产企业面临的一个难题。这主要是由于房地产属于典型的资金密集型企业,具有前期投入大、周期长、资金回笼慢的特点,使得房地产企业面临极大的现金流风险。基于此,文章以R房地产公司为例,对其现金流量管理问题进行深入的研究。文章首先阐述了现
目前大部分火电厂机组在引增合一改造、吸收塔超低排放对烟道进行改动后,明显存在烟道内部烟气流场紊乱、两台引风机电流偏差大、抢风、喘振等问题。分析火电机组烟道均流装置的节能优化与工程应用,并提出针对性改进措施,从而改善烟道流场、降低能耗,提高机组的安全可靠性。
在化石能源日渐枯竭的今天,寻找可替代的新型能源已成为全球科学研究的重要课题之一。核能作为新兴的清洁能源以其低碳排放、能量密度高的优势,成为未来可持续发展的重点研究对象。在核能的应用开发过程中,核裂变反应堆先于核聚变反应堆,已经实现了商用推广,其中第四代先进裂变堆之一的熔融盐反应堆以其安全、稳定的优势得到广泛关注。熔融盐反应堆中燃料系统、乏燃料处理系统和传热系统都是利用不同体系的熔融盐进行工作,研究
江苏省南京市江宁区岔路学校是江宁区第一所九年一贯制学校。学校经过数十年的精细化管理和发展,明确了 "以价值影响价值,以人生引领人生"的教育理念。学校十分重视对义务教育阶段学生的心理健康教育,早在2008年便获得南京市合格心理咨询室资质,并于2020年被评为南京市中小学示范心理健康教育中心。为了让出生在岔路口、生活在岔路口、
期刊