论文部分内容阅读
互联网及各行各业信息化的快速发展,企业和单位需要处理的数据量越来越大。传统文件系统已经不能满足海量数据的存储需求,分布式文件系统成为解决海量数据存储的一种有效方式。同时,由大数据量引发的大量计算,也推动并行计算的高速发展。日志数据是常见的一种海量数据,本文针对海量日志数据,研究、设计和实现了其处理与查询优化技术,主要工作和创新点如下: (1)设计实现了基于Hadoop的并行特征匹配算法。针对海量日志数据,结合WM算法,对日志中的关键字,如Warning,Exception,Error等,进行并行特征匹配。实验证明,该并行优化技术可随集群节点数近似线性的提高匹配性能。 (2)提出基于关键列预处理优化的无冗余分布式存储和查询模型。该模型针对海量结构化日志数据,首先选定关系表的某些列作为关键列,然后按照关键列分布式存储数据,并记录相关存储信息作为元数据索引。对含有关键列的查询,根据元数据索引减少单次查询的数据量。模拟实验证明,该方法可显著提高系统吞吐率。 (3)提出基于关键列预处理优化的冗余分布式存储和查询模型。该模型在上述模型(2)的基础上,通过增加少量冗余开销,进一步提高系统吞吐率。同时,结合Hadoop分布式文件系统的备份机制,对冗余数据进行了优化处理。