大数据环境下,网络安全事件层出不穷,黑客技术的多元化和精细化给网络安全带来了巨大的挑战,传统的防火墙保护、数据加密等安全措施已经无法满足网络安全防护的需求,安全态势感知系统的应用势在必行。本文设计了一个基于Hadoop架构的安全态势感知系统,依据安全态势感知系统对聚类算法的要求,对传统的K-Means算法做出改进,并基于MapReduce编程模型实现算法并行化。将改进后的并行聚类算法和传统的攻击库匹配相结合实现日志分析,搭建一个可视化平台进行网络安全实时监测、告警和分析。论文的主要工作如下:1、提出改进K-Means聚类算法,优化算法流程,克服传统KMeans算法在寻找聚类中心时的随机性缺陷以及被孤立点,噪声点干扰聚类效果的缺陷,并且在改进算法的基础上做MapReduce并行化研究使其适应于大数据处理要求,大幅降低算法耗时,提升并行化性能和攻击检测准确率。对日志进行分析时,将基于聚类的异常检测法以及基于规则库的异常检测法相结合,用改进K-Means算法对日志数据进行分析,识别出的威胁数据,送入本地攻击库进行二次匹配,提升威胁识别的准确性。2、设计并实现一个安全态势感知系统,搭建系统并进行环境配置,包括7台虚拟机的搭建、IP配置、安装Java并配置、安装ssh和Hadoop并配置等。该系统实现的功能有:对数据进行采集和持久化存储,满足约1500TB/年的大数据存储要求;对存储的实时数据流进行预处理工作,包括清洗过滤以及数据标准化等操作;从经过预处理的数据流中识别出威胁信息,实时统计现存威胁,对于未知威胁,从外部威胁和脆弱性两方面进行预警;将安全数据在多种场景下分析的结果用多类图表进行展示,包括综合安全态势、系统安全告警、系统安全预警、系统风险量化和预测、系统资产安全情况、系统用户画像、系统攻击画像等,并为用户提供平台管理功能。本文所设计安全态势感知系统实现了网络安全状况的实时检测,包括系统安全和资产安全。对已有安全威胁产生实时告警,对系统用户和攻击行为进行综合评估,判断风险等级,对未来的安全事件进行预测。该系统已经投入实际应用,具有较高的攻击检测准确率。