互联网及各行各业信息化的快速发展，企业和单位需要处理的数据量越来越大。传统文件系统已经不能满足海量数据的存储需求，分布式文件系统成为解决海量数据存储的一种有效方式。同时，由大数据量引发的大量计算，也推动并行计算的高速发展。日志数据是常见的一种海量数据，本文针对海量日志数据，研究、设计和实现了其处理与查询优化技术，主要工作和创新点如下:　　(1)设计实现了基于Hadoop的并行特征匹配算法。针对海量日志数据，结合WM算法，对日志中的关键字，如Warning，Exception，Error等，进行并行特征匹配。实验证明，该并行优化技术可随集群节点数近似线性的提高匹配性能。　　(2)提出基于关键列预处理优化的无冗余分布式存储和查询模型。该模型针对海量结构化日志数据，首先选定关系表的某些列作为关键列，然后按照关键列分布式存储数据，并记录相关存储信息作为元数据索引。对含有关键列的查询，根据元数据索引减少单次查询的数据量。模拟实验证明，该方法可显著提高系统吞吐率。　　(3)提出基于关键列预处理优化的冗余分布式存储和查询模型。该模型在上述模型(2)的基础上，通过增加少量冗余开销，进一步提高系统吞吐率。同时，结合Hadoop分布式文件系统的备份机制，对冗余数据进行了优化处理。