日志内包含的数据具有各种用途,如用于问题定位、数据分析等。原始的日志为字符串形式,当对其进行进一步分析时,首先需要将日志模版提取出来,并获取关键位置上的数据。但目前存在的日志模版提取算法,处理日志时无法正确处理日志中的Json字段或Key-Value类型的字段,导致准确率大大降低,称带有该类型字段的日志为复合型日志。针对上述问题,本文提出一种针对复合型日志的模版自动提取算法,基于该方法设计并实现可处理复合型日志的自动解析日志系统。具体内容如下:首先,提出针对复合型日志的模版自动提取算法。该方法改进了简单共有词算法,向算法中引入差异度以增强算法对模版中不同词语的敏感度,然后通过将日志中的特殊符号(包括空格)进行统计,把日志按统计结果分类。使用Drain的提取算法对每类日志进行模版提取,集合所有类别的模版,使用改进的共有词算法求得所有模版相互之间的相似度,设计BMerge算法对相似的模版进行融合,最终提取出模版,将所设计算法命名为CLEA(Compound-Log Extract Algorithm)。然后,基于上述算法,设计并实现可处理复合型日志的自动解析日志系统。系统分为数据采集模块、分析模块、解析模块、存储模块与监控模块,数据采集模块根据用户自定义配置接收指定端口的日志,分析模块提取日志模版,解析模块负责解析日志,最终由存储模块存入系统,提供查询接口供用户读取使用,完成日志从接收、解析到存储的完整流程,监控模块在系统运行过程中确认系统状态,保证系统正常运转。实验结果表明,CLEA对比其他算法在处理复合型日志时具有更高的准确率,同时该系统能够有效地接收并解析多种来源的日志,能够对复合型日志进行正确的分类及解析。