日志记录了系统事件,系统运维人员可以通过日志来了解和优化系统行为。通过模板挖掘生成日志事件、并实现日志分类的方式近年来被广泛研究,其中基于聚类进行日志模板挖掘的方法成为主流。目前大多数聚类方式都依赖于人工预先设定聚类数目k,在真实的生产工作中是很难实现且极不方便的;而不需预先设定k值的方法大多聚类规则较简单,效果不够理想。针对以上问题,本文设计并实现了基于模板挖掘的日志分类方法。方法分为两个过程。首先基于聚类进行日志模板挖掘过程:先构建关键词词典对日志数据进行初步压缩,以提高聚类效率;之后对日志依据转移增益函数进行聚类;通过实验发现,聚类数目k与模板挖掘成功的日志在全体日志集合中所占比例呈正相关的关系,因此可以通过归一化特征判断当前聚类数目是否满足要求,通过这种方式,实现了不需人工干预即可自动完成聚类的任务。此外,设计了基于日志模板的日志分类过程,将日志模板和关键词词典共同构建日志分类模板,并将原始日志和分类模板进行匹配从而实现分类;并且设计了在线日志分类机制,以提高分类效率。本文在真实数据集上进行实验以论证本文提出的基于模板挖掘的日志分类算法的有效性。首先针对本文工作的需要设计了日志模板准确度和日志分类准确度的评价标准,实验表明,本文提出的日志模板挖掘算法有较好的准确率,且具有较高的泛化能力;同时,基于模板挖掘的日志分类算法有良好的分类效果和效率。本文还将日志模板挖掘和分类算法实现成为原型系统,由日志存取模块、日志模板挖掘模块、日志分类模块、Web服务模块组成,可以实现日志模板挖掘、日志分类、数据可视化和用户交互的功能。