日志被广泛用于检测现代大规模分布式系统中的异常。然而由于日志的急剧增加,过度依赖人工日志检查的传统异常检测变得不可能。为了减少人工工作量,近年来,以机器学习为代表的自动日志分析在日志异常检测领域得到了广泛研究,但是常规的分类方法只给出预测结果,缺乏对预测结果的有效性评估,即对预测结果的可信程度的评估以及对该评估有效性的保障。概率预测算法虽然可以提供预测结果正确的概率,然而这些算法过度依赖样本分布模型的假设,一旦假设的模型不正确,则预测争取的概率会下降,有效性的评估就无法保证。本文针对上述问题,首次在日志异常检测领域引入Venn-Abers算法,该算法可以在较弱的数据分布假设下给出预测结果正确的概率,并根据整体概率分布的特点进行日志的异常检测。主要工作分为两个部分:（1）Venn-Abers算法是一个灵活的机器学习框架,分别构造基于支持向量机（Support Vector Machine,SVM）、随机森林（Random Froest,RF）、逻辑回归（Logistic Regression,LR）的三种Venn-Abers预测器（SVM-VA、RF-VA、LR-VA）,并对HDFS日志数据进行异常检测。首先从Venn-Abers算法自身的特性证明了概率预测的有效性,然后根据VennAbers算法得到的概率分布提出日志异常检测算法,最后和三种常规分类器的分类准确率进行比较,证明Venn-Abers算法的异常检测能力。（2）针对单模型性能的差异性,提出基于支持向量机（Support Vector Machine,SVM）、K近邻（K-Nearest-Neighbors,KNN）、决策树（Decision Tree,DT）、随机森林（Random Froest,RF）、梯度提升决策树（Gradient Boosted Decision Tree,GBDT）这五个常规分类器的Stacking多模型融合策略,并在此基础上对多模型融合的算法Stacking构造Venn-Abers预测器（Stacking-VA）。首先,从日志异常检测效果和检测误差方面对多模型融合算法Stacking和单个常规分类器进行验证,然后证明构造的Stacking-VA预测器比单模型的Venn-Abers预测器更能体现概率预测的有效性,最后根据提出的异常检测算法对Stacking-VA预测器的异常检测能力进行说明,并进一步得出Stacking-VA预测器比Stacking多模型融合在检测日志异常准确率方面提高2%。