论文部分内容阅读
随着云计算技术的不断发展,以及云平台的快捷部署,云服务已经逐步融入到人们的日常生活中,用户可以购买或者租用云服务的存储和计算资源来辅助自己的工作,不过云环境的安全问题一直阻碍着云计算的快速发展。服务商可以在硬件资源和数据传输加密方面尽可能地保障云平台的安全,但是用户行为没有得到合理的监控。由于云环境的复杂性和多样性,传统的日志分析方法很难满足云环境的安全需求,因此本文针对云环境下用户行为安全问题,构建了基于Flume的日志实时和完整性采集平台,提出了基于神经网络的日志分析算法,对用户行为的安全性做出准确分析,保障云环境的安全稳定。本文的主要研究内容和创新点如下:(1)构建了基于Flume的日志采集框架,根据云环境中用户行为日志的特点设计了自定义的采集模块,针对日志采集完整性问题提出了基于分类的队列管理算法,充分利用数据传输过程中的各种监控数据,使用分类的机制实现负载均衡,让采集平台中的缓冲队列能够及时协调采集速率和传输速率。针对日志采集实时性问题,利用拦截器对采集到的日志进行实时过滤,同时使用简易的输出格式异步地进行日志采集。该采集框架能够在保证日志采集完整性的同时,尽可能地提升采集效率。(2)云环境中,传统的日志分析算法无法将日志特征和特征之间的关联性统一起来,导致一些重要的日志信息被忽略,同时实现框架不支持分布式运算,降低了分析效率。因此提出了Detm算法,该算法使用稠密的卷积层对日志数据进行充分的特征提取,提取到抽象的高维度特征之后利用记忆网络分析不同类型日志之间关联性,最终通过全连接层融合日志数据,得到输出结果。该算法不仅考虑到了不同类型日志之间的关联性,而且使用分布式运算实现,具备较高的准确率以及可扩展性。(3)设计并且实现了基于用户日志的行为分析系统,对日志采集模块和日志分析模块进行了周密的设计,并且详细阐述了每个模块的工作流程。利用该行为分析系统对云环境下用户进行实验,实验结果表明该原型系统能够对日志进行有效的采集和备份,同时对用户行为的安全性做出判断,达到及时分析的效果,保证云环境的安全。