软件定义网络(SDN)得到了越来越多的关注和应用,这主要得益于它和传统网不同的特性,传统网络采用协议分层的机制,每一层只负责和自己相关的工作,SDN打破了分层的结构,主要有控制逻辑和转发处理逻辑。控制逻辑由控制器来实现,转发处理逻辑由交换机负责,此外SDN还支持编程特性,在控制器中可以编程实现新的功能,然后将相应的规则下发给交换机,控制器负责路径发现,负载均衡等功能,而交换机只负责相应报文的处理和转发,是控制器下发的规则的执行者。SDN为网络带来了很大的便利和灵活性,但是设计之初没有考虑到安全性,而且大部分厂商由于造价原因,不再支持传输层安全机制(TLS),这使得安全性问题尤为突出。为了解决上述问题,本文提出了基于聚类和深度学习的恶意数据流检测模型。基于聚类的恶意数据流检测模型,先通过计算每条数据流的熵值确定是否发生攻击,再用聚类算法将数据流进行聚类,找到恶意数据流,然后由SDN控制器下发规则进行删除。为了减少聚类时间,本文提出了基于网格和密度(GDBC)的聚类算法,GDBC聚类算法在数据流聚类时,虽然依旧需要人工抽取数据流特征,但是它可以不用先验知识进行训练,并且在设定阈值适当的情况下,能够识别出一些未曾出现过的恶意数据流。实验使用了KDD99和CTU-13数据集,结果表明,和SE和DBSCAN聚类算法相比,该算法在保证精度的前提下,减少聚类过程所用的时间,最后在Mininet和Pox中进行模拟,该算法能够有效地检测出恶意数据流。虽然在SDN中已经使用了许多机器学习算法来解决安全性问题,但都需要专家从原始数据中提取特征,需要大量的人机交互,这在一定程度上降低了检测的准确性,而且前述基于聚类的算法对于一些没有明显统计特征的数据流并没有检测能力。针对上述问题,提出了一种基于卷积神经网络(CNN)和循环神经网络(RNN)的数据流分类方法。我们的方法是在图形处理单元(GPU)支持的TensorFlow中实现的,并在CTU-13,CSIC2010和该模拟数据上进行了评估,结果表明,该方法取得了很好的效果,在检测精度和稳定性方面优于现有方法,在SDN网络安全方面具有很大的应用潜力。