软件定义网络（Software Defined Network,SDN）架构突破了传统网络管理难度高、扩展性差的窘境,实现了对网络的灵活管理。但是SDN技术仍旧不够成熟,潜在的安全问题日益突出。网络流量可以直观地反映网络状况,通过对流量进行异常检测可以为防御网络攻击提供支持。现有的对网络流量进行异常检测的研究中,基于机器学习的异常检测方法效果更加显著,但仍存在网络流量特征维度高导致异常检测性能低下、测试时的异常检测性能低于训练时等问题。因此,论文分别从特征选择和优化流量表示两个角度提高异常检测的性能。论文的主要工作有:（1）针对当下在基于网络流量数据进行异常检测时,流量特征维度高、流量数据总量大严重制约了异常检测的检测效率的问题。本文提出了基于相关性和影响度的网络流量特征选择算法（Feature Selection based on Correlation and Influence,FSCI）。首先根据相关性判断移除集合中与类别（“label”）相关度低的流量特征,以及具有冗余特性的流量特征,得到特征子集,然后基于影响度因子优化特征子集。将FSCI算法与其他特征选择算法就异常检测的精度等进行对比实验,实验结果表明FSCI算法优化了流量特征集合,提高了异常检测准确率。（2）针对当下异常检测模型在检测时,测试集中的特征和类别的联合分布与训练时相比存在偏差,以及基于决策树构建的异常检测模型分支过多、复杂度高的问题。本文提出了一种基于流量表示优化的异常检测算法（Anomaly Detection algorithm based on Traffic Representation Optimization,ADTRO）。ADTRO算法主要包括两个部分:首先,计算语义特征的自相似矩阵,联合网络流量语义特征的直方图数据和特征相似矩阵的直方图数据,得到关于网络流量的更加准确的表示。其次,引入叶子节点数目生成新的生成树评判依据,若两个特征的评判依据相近则合并为一个新的特征。最后分别对表示优化前后的数据进行异常检测,并与其他异常检测算法就对普通流量和异常流量的检测精度等进行对比分析。实验表明本文提出的算法能够更加准确的刻画不同类别的流量数据,实现更加准确、稳定地异常检测。（3）基于SDN网络架构,设计并实现了包含流量采集及特征提取、特征选择、表示优化、异常检测以及异常处理的原型系统。为了测试以及评估系统的性能,首先基于Mininet搭建Fat-tree网络拓扑结构,然后分别模拟普通流量和攻击流量,最后SDN异常检测原型系统周期性采集SDN流量数据并根据最优特征子集构建待检测向量以及其他的处理,如果存在异常流量更新特征选择以及异常检测模块,同时对包含异常源的网络数据包采取过滤处理。