随着互联网技术的飞速发展,网络已成为人类生活不可或缺的活动空间。网络服务和应用层出不穷,致使网络流量数据规模迅速增大。因此,如何快速准确地识别流量类型和过滤某些恶意流量,从而避免高速网络拥塞问题以及确保关键业务的服务质量,对网络资源分配、服务质量保障、入侵检测等研究领域有重要参考和实践价值。随着私有协议或加密协议等新型业务的广泛应用,传统流量识别方法已经难以满足性能要求,尤其不能解决匿名和恶意流量识别效率低、多分类准确率低下和泛化能力差等缺陷。在此背景下,基于网络流特征的识别方法因其高效性和灵活性,在流量识别领域广受关注。本文基于此开展研究,在分析匿名流量和恶意流量特点基础上,根据其网络流特征分别采用机器学习和深度学习设计了相应的识别方案,主要研究工作如下:（1）分析了Tor匿名网络交互过程中的特点,设计了一组用于Tor流量行为检测的网络流特征和一组用于Tor流量应用识别的网络流特征,并在公开匿名流量数据集UNB-CIC Tor上经网络流聚合、特征提取等操作提取该组特征。此外,本文分析了恶意网络流量在时间或空间上呈现出不同特征,在保留原数据时序特征的同时,从恶意流量数据集IDS2018选择了47个网络流特征用于后面模型的训练与测试。（2）针对现有基于监督学习的匿名网络流量识别技术存在表征学习能力不足的问题,设计了一种基于改进深度森林的匿名网络流量行为检测与应用识别方法。为了获得更多特征子样本,本文使用深度森林的多粒度扫描寻找多个特征间关联性,并通过级联森林的强大表征学习能力对匿名流量进行检测与应用识别。不仅如此,为了使多粒度扫描提取更多信息,本文根据网络流数据特点实现新的多粒度扫描滑动方式,通过增加级联森林分类器的多样性进一步增强级联森林的表征学习能力。实验结果表明,Tor流量检测准确率可达99%;Tor流量应用识别准确率为95.89%,优于常见的机器学习方法。（3）针对恶意网络流量在时间或空间上呈现出不同特征,设计一种结合一维卷积神经网络和独立循环神经网络模型识别恶意网络流量。其中,一维卷积神经用于提取多条网络流数据局部特征,独立循环神经网络用于获取高层特征之间时序关系。另外,本文在独立循环神经网络神经元中添加了Softmax函数和使用LRe LU激活函数后有效缓解了其训练不稳定的问题。最后,本文对不同网络结构下模型准确率、召回率等性能指标进行分析,实验对包括DDo S、暴力破解等六种真实的恶意攻击流量样本进行识别,结果表明本文提出方法要优于现有方法。