【摘 要】
:
随着互联网商业模式日趋复杂、应用数据海量增长,传统面向联机事务处理(Online Transaction Processing,OLTP)与面向联机分析处理(Online Analytical Processing,OLAP)的数据
论文部分内容阅读
随着互联网商业模式日趋复杂、应用数据海量增长,传统面向联机事务处理(Online Transaction Processing,OLTP)与面向联机分析处理(Online Analytical Processing,OLAP)的数据库系统由于架构差异且彼此独立,无法同时满足多样化的业务需求,面向混合负载(Hybrid Transactional/Analytical Processing,HTAP)的数据库系统应运而生,成为数据库系统发展的方向之一。传统面向OLTP或OLAP的数据库采用单一“按行存储”或“按列存储”的存储方案,无法兼顾行、列存储格式的优势(行存储有利于实现高效的事务处理,而列存储能够有效优化复杂查询),因此混合存储引擎成为实现面向HTAP数据库的关键技术之一。如何兼容两类数据库的存储格式、访问接口等差异,保证高效事务处理和复杂查询分析能力,是混合存储引擎构建的主要挑战。读写分离架构的分布式数据库系统,具有良好的数据写入性能与可扩展数据存储能力。结合该架构的优势,面向HTAP应用,本文设计并实现了一种基于读写分离架构的混合存储引擎。本文的主要贡献如下:1.解决了面向HTAP的混合存储引擎中数据集成的问题。提出了基于批量更新的行列混合数据组织方式,将面向OLTP的行存储数据文件、以及面向OLAP的列存储数据文件集成管理。2.实现了混合存储引擎下的高效事务处理和数据访问方法。利用读写分离架构的优势,使事务处理不受底层混合存储的影响;设计了面向行列混合数据的统一访问接口、基于行组的列存储数据扫描方法,以及基于规则的数据读取策略,优化了复杂查询。3.提出了混合存储引擎的查询扩展方法。将数据存储文件与其他大数据处理系统共享,并设计独立的扩展组件,使上层应用能在存储引擎中用SQL语句调用大数据处理系统的计算接口,扩展了存储引擎查询分析、数据挖掘等方面的能力。4.验证了在典型架构的数据库系统下混合存储引擎实现的有效性。本文对混合存储引擎进行一系列基准测试,包括存储空间,事务处理与查询处理等场景,并与工业界的数据库系统进行对比,充分证明了其有效性。本文提出并实现的混合存储引擎具有一定的创新性与学术意义,为解决面向HTAP的数据库中数据管理,事务处理与复杂查询分析的兼容问题提供一种有效方案。本文的工作对面向HTAP的数据库系统研究具有实践意义。
其他文献
<正>若全面二孩带来35%的新生儿增量,奶粉市场将扩容240亿元左右。10月29日,十八届五中全会公报发布,其中,公报提出全面实施一对夫妇可生育两个孩子政策。二孩新政的出台,对
本文通过分析美国、欧洲及亚洲市场资产支持票据产品发行情况,比较了各国开展资产支持票据业务的模式,系统地回顾了资产支持票据产品在我国的发展历程,总结了中国资产支持票
近几年来,随着我国国内金融分业监管及信托业专营的金融体制,券商以专项资产管理计划为特殊目的载体的资产证券化在法律上存在着一些问题。本文将从新形势下高校专项资产管理
南极气候变化和全球气候的整体变化有着密切的关系,而南极冰盖高程和质量变化是南极气候变化幅度和特征的一个重要的指标量,南极冰盖的消融和亏损会直接导致全球海平面的上升,进而剧烈地影响全球生产生活的平稳开展,据统计,南极冰盖质量每消融360Gt,全球海平面高度会上升1mm左右,可见其对全球气候的重要影响。测高卫星和重力卫星作为两个重要的遥感测量工具在极地研究方面展现了其巨大的优势,测高卫星可以直接测得南
针对亭南煤矿111综放工作面顶煤冒放性差,采取了深孔控制预裂爆破技术对顶煤进行弱化处理,提高了顶煤的可放性;详细介绍了试验方案的实施情况,并对试验效果进行了考察,取得了
由于各储层物性在注水开发过程中都会发生相应的动态变化,因此建立注水开发前后储层物性的动态地质模型,并研究注水开发过程中储层物性的变化规律,对寻找有利区带以及进一步
深化高校管理制度改革是完善中国特色现代大学制度的内在要求。《国家中长期教育改革和发展规划纲要(2010-2020年)》颁布实施以来,我国高校管理制度的改革实践取得了丰硕成果
基于实际裂缝性油藏聚合物微球试验区调剖前后的动态数据分析,建立了试验区井组流线模型,综合评价了试验井组聚合物微球调剖效果,提出了调剖后注水井压力响应特征与油井见效
现代生产中,给奶畜饲喂高精料日粮来满足泌乳能量需求的饲喂模式已成为一种流行趋势,但反刍动物摄入过多的高精料会导致瘤胃中挥发性脂肪酸的积累和脂多糖等有害物质的释放增加。挥发性脂肪酸的累积会增加亚急性瘤胃酸中毒(subacute ruminal acidosis,SARA)的发病率;脂多糖经门静脉入肝脏,会影响肝脏形态和代谢功能,并诱导肝细胞凋亡,使肝脏功能减弱;脂多糖经体循环进入脾脏还会对脾脏造成损
对《档案法》实施25年来,发表的有关《档案法》"软法"说的文献进行了梳理,分析了各种"软法"说的认识,并进行了归纳和总结。以期对我国的《档案法》研究及档案执法有所借鉴和