随着下一代互联网技术IPv6协议的不断成熟和推广,支持IPv6访问的Web网站逐渐成为了主流。Web网站发生的各种各样的事件都会产生相应的网络安全日志,记录着用户的访问行为。实现IPv6网络安全日志的有效分析,深度挖掘其中有价值的潜在信息,不仅可以了解用户的访问行为习惯,还可以发现隐藏的Web攻击行为,从而维护Web服务器系统的安全。进入大数据时代以来,巨大的网络用户流量产生的IPv6网络安全日志数据早已达到了TB或PB甚至以上的数据量级别。面对如此海量的IPv6网络安全日志大数据,单台主机集中式的日志分析技术已经无法满足数据存储和计算的需求。针对这一问题,本文利用Hadoop分布式平台设计并实现一种基于Hadoop的IPv6网络安全日志分析系统。该系统旨在完成对大规模Web日志的高效存储管理和快速挖掘分析,尽可能正确区分正常访问和Web攻击,提高Web网站的安全性。本文工作的创新点主要包括:(1)鉴于单机集中式K-means算法无法有效地处理海量数据,提出一种基于MapReduce的高效K-means改进算法。先借助最大最小距离法和轮廓系数优化K-means算法初始聚类中心的选择,再基于MapReduce实现改进K-means算法的并行化。(2)提取IPv6网络安全日志中正常访问行为和攻击行为存在较大差异的特征向量,并通过基于MapReduce的高效K-means改进算法构建正常访问的用户行为模型,提高IPv6网络安全日志分析过程中正确区分正常访问和Web攻击的能力。(3)设计并实现基于Hadoop的IPv6网络安全日志分析系统及其工作流程。该系统能够有效完成IPv6网络安全日志大数据的分布式收集、存储、预处理和分析,极大地提高了IPv6网络安全日志大数据分析的效率。实验结果表明,对比于传统的K-means算法,本文提出的基于MapReduce的高效K-means改进算法有着更高的准确率和稳定性,运行在Hadoop集群上还有较好的加速比和扩展性。本文设计的基于Hadoop的IPv6网络安全日志分析系统在识别Web攻击中有着较高的检测率和较低的误检率。