互联网技术高速发展,网络环境日益复杂,网络攻击通过加密、混淆等手段提高隐蔽性,给网络安全防护和异常行为发现带来了新的挑战。目前国内外学者针对异常流量检测发现领域做了大量研究工作,并取得了一系列成果。针对异常行为检测发现普遍使用的深度包检测技术、数据挖掘技术、机器学习技术等技术手段,在特定场景下的实验环境中均表现出色,但是在实际生产环境中应用中却存在诸多不足,主要包括检测效率低下和误识别率高等问题。针对以上问题,本文深入分析传统的流量识别方法和机器学习方法,提出了基于大数据分析平台,将传统流量识别技术和机器学习技术结合的异常流量分类方案,并实现了面向校园网环境的异常流量监测平台。首先,在流量信息收集层面,利用加密流量检测技术和深度包检测技术完成了流量初步筛选和流量基本信息的提取,在此基础上,利用数据关联技术完成了基于行为特征的筛选,通过两次数据筛选,在校园网环境中减小了流量分类阶段的系统压力,再利用Flume和Kafka架构平台完成了流量信息日志的收集及传输。其次,在流量分类层面,一方面,对KNN、SVM、随机森林、决策树等机器学习算法进行实验研究,基于收集的异常流量标记样本集完成模型训练,并对各个机器学习算法的交叉验证结果进行对比,决策树在本数据集的分类效果更优。另一方面,利用Spark Streaming流式处理架构对原始流量信息数据处理,使用训练得到的最优分类模型完成原始数据流的分类,同时在分类结果基础上对异常流量监测数据进行相关统计更新。最后,在数据存储和展示层面,依据业务需求,使用Hadoop完成对原始数据流日志存储,使用Mysql完成异常监测系统展示数据存储,利用Think PHP架构完成了数据展示系统,满足了业务对于历史数据的追溯需求和展示界面数据快速响应需求。通过对本系统的测试和校园网环境部署应用,本系统在异常流量检测准确率和实时性方面满足了校园网环境下异常流量的监测需求。