论文部分内容阅读
随着信息技术的发展,数据大规模增长与膨胀,传统行存储数据库在应对海量数据的查询处理过程中遭遇了性能瓶颈。而列存储数据库则利用其特有的数据存储结构,极大提升了数据库系统的查询性能。但由于各种原因,列存储数据库系统目前实际应用并未普及,因此利用列存储数据库的技术思想对行存储数据库进行优化成为一种研究思路,即列模拟存储技术。论文主要研究基于列模拟存储技术的数据库存储与优化。论文以列模拟存储技术为核心,探究了包括全索引技术、垂直切割、物化视图等各类列模拟存储技术的细节,并以其中的垂直切割技术为基础,进一步优化系统性能。依托列模拟存储技术,论文通过引入轻量级压缩算法、自适应的组合投影策略以及针对数据内容的表内冗余与表间冗余优化策略等三个角度进行研究。在研究过程中,对各类经典压缩算法在系统中进行了实现,并提出了查询性能更加高效的基于列模拟存储的轻量级压缩算法RLE-字典编码;建立了基于列模拟存储的自适应投影模型,并提出了基于用户查询历史的自适应组合投影CAC算法,以进一步提升列模拟存储系统的查询效率。为了对某机构的海量金融交易数据管理系统进行优化,论文提出一套基于列模拟存储系统优化方案,在针对数据本身特点对数据进行处理之后应用列模拟存储技术设计与开发相关优化模块。进而对以上优化策略进行了测试与分析。最后对论文工作进行了总结,提出了下一步研究方向。