大规模分布式系统正在成为IT行业的核心组件,支持各种类型的日用软件,包括网上银行,电子商务和即时消息等。与传统的独立系统相比,大多数此类分布式系统全天候地运行,为全球数百万用户提供必要的服务。此类系统的任何非正常停机都可能导致重大的收入损失,同时随着网路攻击手段的不断更新,越来越多的危险威胁到了系统的正常运行,这突出了进行网络防御,保护系统可靠性的必要。异常检测是网络攻击防御中一个关键的环节,异常检测算法经过发展已从早期基于统计思想的检测方法发展到运用机器学习的检测方法。随着数据规模不断增大至千兆字节级别,传统的检测方法几乎无法从大规模的数据集中发现异常值。深度学习是机器学习方法中神经网络的发展形式,通过堆叠网络层实现高性能的学习与分析。在数据规模增大的情况下,深度学习的表现优于传统的机器学习。近年来,基于深度学习的异常检测算法成为研究的热点,被证明比传统机器学习方法更适合从大规模数据中寻找异常。系统日志可用于详细记录生产环境中的系统运行时信息的数据,在异常检测中起着重要作用。原始日志常为无结构记录而无法直接用于进行分析以发现异常,需要经过日志结构化解析将原始日志消息转换为一系列结构化事件后进行异常检测。现有的日志结构化解析工具在处理大量数据时性能尚存不足,本文拟利用Spark Streaming框架的大规模数据处理能力提升结构化解析工具的运行性能,提升日志结构化解析的效率。本文将系统阐述基于日志的异常检测相关技术,以此为基础,设计并实现结构化解析实时输入的日志数据,对日志数据中的异常加以检测。本文研究内容以及成果主要涵盖以下几方面。(1)使用有标识的日志数据集对长短期记忆网络(LSTM)进行训练,使其学习正常的日志模式。(2)将日志结构化解析工具以Spark Streaming框架加以实现,加强日志结构化解析工具对大规模数据的处理效率。(3)以经过训练的LSTM作为检测模块,分布式结构化解析工具作为结构化解析模块来开发日志分析工具的原型,将其部署在Hadoop平台上实现对实时输入的日志数据的结构化解析以及异常检测。本文选用开源的日志数据集对LSTM网络以及结构化解析工具的性能进行验证,LSTM网络方面通过实验验证了LSTM在实验数据上能检测出不同种类的异常,选择基于监督学习的异常检测模型支持向量机(SVM)和决策树与LSTM模型(本文称为LSTM?-log)进行对比,并验证了LSTM-log模型在异常检测性能方面,其精确率(Precision)、查全率(Recall)、F-度量(F-measure)均优于SVM及决策树两种模型,为日志分析工具的异常检测模块的实现提供了基础。结构化解析工具方面通过对比实验证明了在相同的数据集上分布式的结构化解析工具有与单机环境的结构化解析工具同等的精确度并且在结构化解析效率上优于单机环境的结构化解析工具。以上述实验结果为基础,开发并部署了日志分析工具原型,能实时对传入的日志记录进行结构化解析以及异常检测。