云环境中用户日志采集和处理算法的研究与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:yuanshidemeng36
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的不断发展,以及云平台的快捷部署,云服务已经逐步融入到人们的日常生活中,用户可以购买或者租用云服务的存储和计算资源来辅助自己的工作,不过云环境的安全问题一直阻碍着云计算的快速发展。服务商可以在硬件资源和数据传输加密方面尽可能地保障云平台的安全,但是用户行为没有得到合理的监控。由于云环境的复杂性和多样性,传统的日志分析方法很难满足云环境的安全需求,因此本文针对云环境下用户行为安全问题,构建了基于Flume的日志实时和完整性采集平台,提出了基于神经网络的日志分析算法,对用户行为的安全性做出准确分析,保障云环境的安全稳定。本文的主要研究内容和创新点如下:(1)构建了基于Flume的日志采集框架,根据云环境中用户行为日志的特点设计了自定义的采集模块,针对日志采集完整性问题提出了基于分类的队列管理算法,充分利用数据传输过程中的各种监控数据,使用分类的机制实现负载均衡,让采集平台中的缓冲队列能够及时协调采集速率和传输速率。针对日志采集实时性问题,利用拦截器对采集到的日志进行实时过滤,同时使用简易的输出格式异步地进行日志采集。该采集框架能够在保证日志采集完整性的同时,尽可能地提升采集效率。(2)云环境中,传统的日志分析算法无法将日志特征和特征之间的关联性统一起来,导致一些重要的日志信息被忽略,同时实现框架不支持分布式运算,降低了分析效率。因此提出了Detm算法,该算法使用稠密的卷积层对日志数据进行充分的特征提取,提取到抽象的高维度特征之后利用记忆网络分析不同类型日志之间关联性,最终通过全连接层融合日志数据,得到输出结果。该算法不仅考虑到了不同类型日志之间的关联性,而且使用分布式运算实现,具备较高的准确率以及可扩展性。(3)设计并且实现了基于用户日志的行为分析系统,对日志采集模块和日志分析模块进行了周密的设计,并且详细阐述了每个模块的工作流程。利用该行为分析系统对云环境下用户进行实验,实验结果表明该原型系统能够对日志进行有效的采集和备份,同时对用户行为的安全性做出判断,达到及时分析的效果,保证云环境的安全。
其他文献
中国越是走自己的增长之路,成功地拉动经济增长,发生经济危机的危险越低。而且国际投机资本更多的还会成为中国经济的同路人。
1990年,由德国的11家厂商和2家研究所开发的AS-1总线技术,推动了工业现场布线系统的革命。中国是在本世纪初引进AS-1技术,今年已走过10个年头,其应用范围正在不断扩大,已被越来越
2013年3月12日中国海洋石油总公司与艾默生过程管理在深圳举办了战略合作协议推进工作会,并签属了《战略合作框架》二期协议。一期协议于2011年I2月签署,涉及艾默生4大类产品,开
开拓科技市场是发展社会主义商品经济、促进我国“四化”建设的重要环节。而正确认识科技商品的价格形成规律,是开拓科技市场的重要前提。因此,从理论上阐明科技商品的特殊性及
本文主要根据直播早稻病虫草鼠发生特点,提出了相庆的综合防治技术措施。
形、神关系的理论是中国传统文化的重要思想,至今仍具有现实意义。它涉及哲学、医学、文学、艺术、美学等诸多学术领域,覆盖面极广,其要旨归根于形体和精神的辩证关系。在中国美
市场经济条件下,能否自由地进入、退出市场是林农实现利润最大化的保证。但现实中,林农参与市场受制于多个因素。文章从影响林农收益和资源配置的角度,分析了限额采伐制度、
硅基MIS隧道发光二极管为制造用于超大规模集成电路的硅基光器件提供了可能性,报道了MIS隧道发光二极管的制作 过程,电流电压和发射光谱特性,讨论了负阻现象和发光机理。