随着计算机技术的迅速发展,企业与政府的网络安全与主机安全正在面临日新月异的挑战,而单纯的提升边界防护技术已经无法应对目前严峻的安全形势,因此内网的纵深防御技术也正在被人们所重视。传统的异常检测方法主要依靠特征码识别与正则匹配,随着近几年机器学习的相关研究再次火热,将机器学习算法用于当前大数据环境下的异常检测的方法也越加被人们所重视。但是现有的检测方法依旧存在检测时间长、检测准确率低、分类效果差等缺点。主机日志记录着大量用户对系统的访问与操作信息。对每台主机产生的日志信息加以利用,那么就可以清晰的掌握当前每台主机的安全状态。本文提出了基于ELK的主机异常检测方法,通过ELK实现对主机日志与流量信息的收集管理,系统的主要结构分为数据集采集,数据预处理,可视化分析,异常检测与通知告警。全文的主要工作与创新点如下:1.基于Libpcap使用C++程序获取网络流量产生的适用于异常检测的安全数据集,通过对比通用安全数据集,从主机中提取出类似的、可供检测的安全数据集,并且对安全数据集与系统日志在采集时实现简单的规则过滤。2.通过安装在主机上的Filebeat对不同的数据来源进行标记后,传输到装有Logstash的服务器进行正则匹配,并且对安全数据集协议进行字段替换、归一化等预处理方法。通过Elasticsearch索引数据文档并且根据索引结果使用Kibana建立图表。同时在Logstash节点外挂异常检测机制,通过改进后的自收敛PCA与OCSVM算法建立分层异常检测模型,当检测出异常时能够将检测结果发送到管理人员内部邮箱。3.异常检测模块的实现主要基于自收敛PCA与OCSVM算法组合构建出的多层次的异常检测模型,通过使用攻击特征分析法对采集得到的数据集进行预处理,同时对训练集进行数据清洗与特征选择,使用改进后的自收敛PCA算法能够显著降低数据中包含的噪声,突出异常数据与正常数据的差异性,弱化无关特征对于训练模型的影响。对PCA的改进目标是能够定量的降低数据集中的噪声,通过计算最低特征贡献率m的方法自动获取PCA降维的最佳维度,不仅改进了需要频繁输入k值的传统方法,而且对噪声过滤的针对性更强。4.通过不同的数据特征训练不同模型分别对应DOS、R2L、U2R、Probe四种攻击类型。使用基于RBF核的OCSVM算法进行模型训练,通过改进的分层检测的框架避免了OCSVM算法分类效果差的缺陷。文章最后对KDDCUP99数据集进行了提取处理,并且更具攻击特征进行了特征筛选后进行实验测试,并与之前同样使用KDDCUP99数据集的检测研究进行对比,结果表明本文提出的方法更具优越性。本文的主要工作分布在数据集采集、数据预处理优化、针对安全特性需求对传统算法改进、异常检测系统结构设计优化等方面。基于开源的ELK分布式日志管理方案的基础上,增加实现了以分层自收敛PCA-OCSVM为核心的异常检测方案。