网络技术的不断更新迭代,使得用户可以更方便地使用网络,但由此也产生大量的网络安全隐患问题。恶意流量检测技术,作为一种积极主动的防御手段,相较于传统防御技术而言,能表现出更好的防御效果。近年来,研究人员也提出了多种恶意流量检测模型,但目前主流的恶意流量检测技术大都是结合特征工程使用,而特征工程依赖人工知识,这也使得这些技术检测效率较低。同时,在进行特征工程的过程中,会丢失一部分流量数据的特征信息,导致这些模型检测性能较低。因此,研究一种更准确、更高效的恶意流量检测技术就显得尤为重要。深度学习作为机器学习的一个分支,其在图像处理方面表现良好,并且深度学习在对图像进行处理时,可以自动提取图像中的特征信息。因此,将图像处理与恶意流量检测技术进行结合,可以有效解决现有特征工程带来的问题。本文利用了深度学习在图像处理方面的优势,展开了对恶意流量检测问题的研究,主要工作如下:（1）针对现有恶意流量检测模型依赖特征工程的问题,本文提出了一种基于图像处理的方法（Original Traffic Detection-CNN,OTD-CNN）。该方法利用图像保存流量特征,将流量数据通过预处理转换为灰度图像,并使用卷积神经网络对其进行分类,实现了将流量检测问题转换为图像分类问题。该方法充分利用了卷积神经网络在图像分类方面的优势,无需采用特征工程对流量数据进行处理。在CIC-IDS-2017数据集上的实验结果显示,检测准确率达96.68%,F1值达96.80%,检测性能优于现有模型。（2）针对特征选择过程中存在的信息丢失问题,本文设计了一种分层网络结构模型（Hierarchical Spatial and Temporal feature learning network,HSTN）,该模型结合了卷积神经网络和长短时记忆神经网络的优点,能够充分学习流量数据中的空间特征和时间特征,从而能够获得更多的特征信息,有效避免了特征选择过程中的信息丢失。该模型在两个数据集CIC-IDS-2017和CTU-13上进行了实验,结果表明,分类准确率达98.75%和98.66%,相较现有模型性能提升了约4%,在检测性能方面有较大提高。同时,特征重要性分析的实验表明,HSTN模型在检测过程中能够利用到一些不常用的特征,这也说明了HSTN模型相较于现有模型可以更充分地学习流量数据的特征信息。