随着大数据技术愈发成熟,使得利用现有的大量设备进行快速的日志分析工作成为可能。几乎所有的计算系统的运行状态、环境变化、配置修改和错误等信息记录到某种事件日志中。日志事件可以帮助系统、网络和安全分析人员识别计算基础设施的健康状况或操作状态。然而,原始的日志消息是非结构化的,这种非结构化日志需要通过日志解析技术转变为结构化日志,才能应用于基于机器学习的日志分析。目前日志存在规模大、结构复杂、解析困难等问题,给日志分析工作带来极大挑战。为了提升日志解析的整体准确度,加快解析过程,本文的主要研究内容如下:(1)结合系统日志文本特点,研究细粒度日志导致整体解析准确度不高的问题,提出了一个结合日志的常量令牌特征的决策树日志解析模型(CLDT)。该模型能够充分挖掘日志的相似结构以提取事件模板。实验采用开源日志集进行了测试。实验结果表明,CLDT能有效地解决细粒度日志分类的问题,F-mesure和准确度在三种数据集解析中获得了较大的提升,并且在不同规模数据集中具有良好稳定性和执行效率。(2)将CLDT日志解析方法通过异常检测验证后续日志分析的合理性。针对结构化日志数据进行特征提取,生成特征矩阵,并利用决策树方法对异常日志序列进行判别正常或异常。比较了各解析算法在异常检测中获得的真实报告和误报率。实验表明CLDT方法能帮助检测出更多异常并降低了误报率。(3)针对传统的日志解析方法无法满足大规模数据的处理,在日志解析方法基础上,提出并行化日志解析策略,加快解析速度。利用弹性分布式数据集RDD的一系列转换和执行实现了基于Spark平台下并行化的CLDT算法。实验部分验证对单机运行和并行化的准确度和运行效率做了比较,结果表明Spark平台下的并行化CLDT算法保持了稳定的解析质量,且算法执行效率显著提高。