随着互联网的迅速发展以及用户的激增,网络流量数目正在攀升,网络环境也变得日益复杂。为了实现网络管理和网络安全的需求,网络流量分类技术研究的重要性越发凸显,但传统的流量分类方法已经不能适应现代互联网的发展趋势。而随着人工智能领域的蓬勃发展,越来越多的研究者开始将机器学习技术应用在网络流量分类方法的研究之中。虽然已有很多研究为网络流量分类领域做出了有价值的贡献,但仍存在着一定的问题。真实网络环境中,获得大量的正确的数据标签是非常耗时和昂贵的,而基于监督学习的算法依赖带标签的训练集,一旦标记数据不足或者样本迁移,分类性能就会下降。另外,在面对入侵检测这一有挑战性的网络流量分类问题时,基于误用的入侵检测方法无法发现新型攻击,而针对基于异常的入侵检测方法又存在误检率较高的问题。并且许多入侵检测研究仅对流量进行二分类,而没有对具体的攻击类型进行分类。针对这些问题,本文的主要工作如下:（1）针对网络流量存在标记数据不足和样本迁移的问题,本文提出了一种基于FCM的分层分类算法HCA-FCM,设计了一种结合基分类层和决策层的双层分类机制。基分类层以FCM算法为核心构建基分类器,通过集成一系列的弱基分类器的方式提升分类性能,并避免有监督学习对训练数据的依赖;决策层利用少量标记数据进行最终类的判别,降低模型训练成本的同时实现了快速有效的分类。实验结果表明,此算法在不平衡数据集上表现良好,尤其体现在对小类的分类效果上。并且,此算法具有模块化、可自由扩展、能快速重新训练等特性,适合于处理这一代的流量。（2）针对误用检测和异常检测的各自问题,本文提出了一种基于HCA-FCM和更新机制的网络流量入侵检测系统。此系统结合了基于误用的和基于异常的检测思想,首先利用误用检测思想检测已知攻击,用HCA-FCM对攻击进行了详细的分类,然后结合Calinski-Harabasz系数提出了一个基于异常检测思想的更新机制,令此系统具有发现未知攻击的能力。此外,还设计了一种改进的基于聚类的标签传播算法,进行自动化的标记传播,辅助系统更新对现有网络流量行为模式的学习。最后通过使用反映当前的网络环境趋势的数据集进行仿真实验,证明了本文提出的系统对比其他研究具有更高的可信度和准确率。