近年来,由于物联网、人工智能、5G等智能信息技术的快速发展,加之先进的网络通信模式,这使得网络空间中的在线服务数量不断增加。随之而来的是网络安全事故发生的风险也在不断上升,各种新型网络攻击可能会对国家和社会安全造成极大的威胁和伤害,这需要引起全体网络安全研究人员的高度重视。恶意网络流量检测系统可以作为应对上述问题的可靠方案,但是在面对海量的高维网络流量数据时,目前的恶意网络流量检测方法在准确率和泛化性方面仍存在着一定的不足,未能达到当前网络空间的安全需求。因此,本文通过研究神经网络的各种模型以及特征选择（Feature Selection）技术,并将相关的改进方法引入到恶意网络流量检测当中,克服以上的缺陷和不足。本文的主要研究工作包括如下:（1）针对恶意网络流量检测中出现的特征学习不充分的问题,研究和分析了基于神经网络的恶意网络流量检测方法。概括和总结了恶意网络流量检测和神经网络的相关理论知识,重点介绍了门控循环单元（Gated Recurrent Unit,GRU）和卷积神经网络（Convolutional Neural Network,CNN）这两种结构的基本原理和特点,构建了基于双向GRU（Bidirectional Gated Recurrent Unit,Bi GRU）和CNN的恶意网络流量检测模型。（2）针对高维网络流量数据中存在的无关特征和冗余特征导致模型的检测性能和效率较低的问题,研究了特征选择的相关方法。详细地介绍了信息论中熵与互信息等基本概念,阐述了特征选择的原理和分类,并通过对基于互信息的特征选择方法的说明和公式推导,进而对CFR算法进行改进。结合基于Bi GRU和CNN的恶意网络流量检测模型,提出了改进的基于CFR-BiGRU-CNN的恶意网络流量检测方法,使用CICIDS2017数据集来对该模型进行测试和验证。（3）针对模型在检测低频攻击时出现的召回率偏低的问题,研究如何对神经网络进行结构优化和模型改进。介绍了残差网络（Residual Network,Res Net）、ELU激活函数等优化方法的原理和优点,并将相关优化方法添加到检测模型的结构中,提出了基于残差模块的Bi GRU-CNN-ELU的恶意网络流量检测方法。本文在CIC-IDS2017和TON＿IoT数据集上分别进行了多分类实验和二分类实验的检测性能对比。本文的创新之处主要体现在以下这两个方面:（1）提出了一种改进的基于CFR-BiGRU-CNN的恶意网络流量检测方法,首先对特征集合进行预筛选,然后使用CFR算法进行特征选择,在删除网络流量数据中的无关特征和冗余特征的同时,提高了模型的计算效率。另一方面,使用Bi GRU和CNN并联的模型结构,对网络流量数据进行特征提取,可以充分地利用这两种神经网络结构的特点和优势,从而提高检测模型的准确率。（2）提出了一种基于残差模块的BiGRU-CNN-ELU的恶意网络流量检测方法,通过引入残差模块和ELU激活函数,增强模型提取低频攻击特征信息的能力,并使用注意力机制来处理重要特征,提升模型的泛化能力。实验结果表明,该检测方法在CICIDS2017和TON＿Io T数据集的多分类准确率分别达到了99.77%和99.24%,二分类准确率分别为99.82%和99.62%,均优于其他的检测方法。