基于校园网流量的Hadoop分析的网络安全防护技术研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:fjtv55
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高校信息化进程的不断推进,校园网安全问题也不断凸显,攻击事件时有发生,给学校的信息安全带来极大的威胁,因此提高校园网的入侵防护能力就显得至关重要。学校以安全防护、安全审计为主要手段,不断加强校园网安全监测、安全预警的能力,采用了防火墙、WAF、防病毒软件等安全防护机制,但是离国家信息安全等级保护要求还有一段距离。一方面,学校对日志采集和存储的能力不足,日志分布在各个服务器上,当日志数量过大时,日志需要及时清理,黑客在成功入侵服务器之后也会对日志进行删除,从而造成日志的缺失。同时,学校目前没有对日志信息进行分析和挖掘,庞大日志的安全价值没有办法得到体现。另一方面,校园网虽然使用了Web入侵检测系统(WAF),但是观察校园网各个网站的运营状况,攻击事件仍然时有发生。校园网Web日志正以惊人的速度生成,并分布在各个服务器上,庞大的日志记录了所有用户对校园网的访问请求,信息量非常丰富,既包含了正常用户的请求,也包含了黑客的恶意请求,对日志的彻底分析可以发现安全事件,从而发现校园网安全漏洞和遭受攻击的网站,同时,完整的Web访问日志对分析攻击者行为过程提供重要的线索。因此,搜集完整的Web日志并进行挖掘对于提升校园网安全防护具有重大的意义。本文首先对本校实际网络环境进行研究分析,针对校园网日志采集存储能力的不足,提出了一种新的流量采集方式,并搭建Hadoop集群对日志进行存储,解决了单台服务器存储能力不足的问题,同时避免了黑客对日志进行删除的风险,并为分析安全事件提供了基础;研究通过Hive技术对数据做映射,以便可以快速对庞大的日志进行定位查询;针对学校目前没有对日志信息进行分析和挖掘的情况,本文对攻击方式进行了深入研究,提出了三种安全事件挖掘方法。在前述研究基础上,提出了校园网Web日志安全事件挖掘系统设计方案,该方案的实施将充分发挥日志的安全价值,为提升校园网安全防护能力提供支撑。校园网目前使用的Web入侵检测系统(WAF)是基于规则的,规则库的一个严重的缺点是不能识别未知攻击,只能识别已知攻击,因此需要进一步提升安全防护能力。本文对统一资源定位符URL相关的攻击方式和机器学习算法进行了深入的研究,并结合校园网HTTP日志数据的特点,提出了基于One-Class SVM算法的URL请求资源的异常检测模型和基于聚类算法的URL请求参数值的异常检测模型,通过对合法的HTTP日志中的URL请求资源字段和URL请求参数值字段进行训练,得到正常用户行为轮廓,以此判断新的请求是否异常,因此具有了检测未知攻击的能力,弥补了规则库的不足,在此基础上,提出了校园网Web入侵检测的改进方案。最后,为验证校园网Web日志安全事件挖掘系统和基于机器学习的Web异常检测模型的有效性,提出了相关测试方案,并对测试结果进行了分析,验证了校园网Web日志安全事件挖掘系统能有效的对日志进行采集存储并能够挖掘出大量的安全事件,基于机器学习的Web异常检测模型具有良好的检测效果,在此基础上,提出了校园网安全防护改进方案。
其他文献
国际投资法语境中的外商证券投资,通常指外国投资者(有时也包括外资企业)带有或兼有直接投资性的、通过有价证券进行的投资行为。目前关于外商证券投资的法律规范包括四层体系,即
针对船舶制造过程中曲板成型工艺,分析了不同检测方法的优缺点,提出了基于主动双目激光三维扫描的船体曲面成型检测方法,建立了主动双目视觉测量的应用流程,研制了一套基于主动双
本文在试验研究的基础上,分析了高速角接触球轴承振动与套圈滚道过表面波纹度的相关性,得出了套圈滚道表面波纹度对轴承振动影响的主次关系,为高速角接触球轴承降振提供了控制手
农村饮用水安全工作一直以来都是国家有关部门的重点工作,农村地区因为自身现有的卫生条件限制,饮用水源所处环境质量较差,如果对取水工程不加以特殊的设计,很可能使其受到严
<正>慢性阻塞性肺疾病(Chronic obstructive pulmonary disease,COPD)是一种严重危害人类健康的常见病、多发病。COPD患者每年约发生0.5~3.5次的急性加重即慢性阻塞性肺疾病
自我是现代文化里一个核心的范畴。本文通过文化镜向深度的自我审视,在东西方有效对话的前提下,进行现代性反思和重建。在现代性的语境中,自我越来越呈现不确定性,自我认同也
计算机辅助教学系统是现代先进教学手段所不可或缺的,而对其的评价标准也显得非常重要。评价是为了促进系统的开发。本文就计算机辅助教育评价的标准进行了探讨,并针对当前评
口语交际是语文课程的重要内容,2001年颁布的《全日制义务教育语文课程标准(实验稿)》,第一次在课程内容的设置上将“口语交际”作为一个重要方面,与“识字写字”“阅读”“
网络化教育的产生不仅使高等教育价值观、教育管理方式等面临着严峻的挑战,而且将从根本上改变学生的学习方式,对学习能力提出更高的要求。当代大学生必须调整“学习策略”,
本文探索性地应用产业链附加价值分析,有针对性地应用于物流企业的发展中,其中重点要加强物流企业的信息化建设,从而完善物流的流通服务系统化过程。本文按照"产业链附加价值