伴随着互联网的蓬勃发展、5G时代的到来,网络越来越融入到人们的日常生活,网络安全也成为社会重点关注的对象。面对当前复杂的网络环境,将大数据和机器学习技术应用于网络安全领域已成为行业研究的重点方向。本文设计并实现了基于大数据的网络安全流量分析与感知系统,该系统具有两大核心功能:网络安全流量分析与预警、网络攻击溯源。从核心功能出发,本文完成了以下工作:1)网络流量数据采集与处理模块。该模块支持跨平台工作,基于Gopacket技术进行数据包的采集与分析,解析出84维特征向量和流量五元组信息,并将数据信息传递给数据存储模块;2)数据存储模块。本文基于Kafka、布谷鸟过滤器、mysql和Redis设计并实现了三套存储方案:K存储、C存储、D存储,满足了不同模块对数据实时性高效传输、数据高效存储和随机查询的需求,解决了单一传统数据库不能很好适应大数据高并发的问题,具有一定实用价值;3)异常流量分析与预警模块。本文基于Spark使用流式k-means进行异常流量分析工作及预警工作,模型优势是不需要进行数据标注,在CICIDS2017数据集上取得了74.35%的查全率;4)攻击溯源模块。本文讨论并实现了两类溯源算法:主从式攻击溯源和递归式攻击溯源,并使用OPNET软件搭建半实物仿真环境,进行溯源功能和性能测试。在仿真运行20分钟后进行平均2000次查询,两类算法分别取得了98.95%和97.85%的成功率,结果表明了主从式攻击溯源算法能更好的解决溯源问题,具有一定的实用价值;5)交互式查询模块。该模块是服务后端,包含数据服务和数据管理功能,对外提供服务接口和数据支持。本文最后对系统进行功能和性能测试,测试结果验证了系统各个模块能够相互协调工作,证实了系统在异常流量分析和网络攻击溯源上的有效性、可靠性,对大数据条件下提升网络的安全性具有一定应用价值。