互联网高速发展的同时伴随着大量的网络安全问题,恶意软件便是网络空间中存在的巨大威胁之一。日益增长的恶意软件及其变体使得准确和高效地检测恶意软件变得十分困难,现有的方法已经难以完成越来越复杂的恶意软件检测和分类任务。一方面,传统的基于机器学习的方法在进行特征融合时,没有考虑特征之间的关联性,导致表征能力不足,检测精度较低,并且容易受到概念漂移的影响。另一方面,现有的基于图像的恶意软件分类方法,在可视化恶意软件时,没有考虑图像尺寸的影响,并且依赖数据增强和预训练参数,使得模型变得过于庞大和复杂,影响分类效率。因此,需要研究更稳定更高效的技术应用到恶意软件检测和分类任务中。深度学习作为机器学习的一个新分支,在进行多层次的学习后可以获得更好的知识表示。随着人工智能的发展,深度学习不仅在语音合成、图像分类、自然语言处理表现出优越的性能,同时也为网络安全领域开辟了新的研究方向。恶意软件的检测和分类本质上都是分类问题,而深度学习能够出色地完成各种分类任务。因此,本文基于深度学习技术,针对现有的恶意软件检测和分类方法中存在的一些问题,提出了不同的解决方法。本文的主要研究内容如下:（1）针对传统的基于机器学习的检测方法存在检测精度低和容易受到概念漂移影响的问题,本文提出了一种基于特征图的恶意软件检测方法（Malware Feature Graph,MFGraph）。首先提取二进制PE文件的静态特征,然后使用图结构对静态特征进行建模,再利用深度图卷积网络进行表示学习以获得特征图的表征向量,最后将表征向量送入分类器输出检测结果。在EMBER数据集上进行了实验,MFGraph的AUC分数为0.98756,准确率为0.95026,F1分数为0.95020。MFGraph不仅在检测精度上优于其它机器学习方法,而且受到概念漂移的影响最小,性能更稳定。（2）针对现有的基于图像的恶意软件分类方法分类效率较低的问题,本文提出了一个轻量化模型（Image-Based Malware Classification via a Lightweight Network,IMCLNet）用于恶意软件分类任务。该模型以可视化的恶意软件图像为驱动,不需要特征工程和领域知识。为了达到高效的分类效果,在设计模型时综合权衡了准确率、计算成本和参数量,并融合了坐标注意力机制、深度可分离卷积和全局上下文嵌入技术。在两个大型数据集Mal Img和BIG2015上进行的实验表明,IMCLNet的分类准确率分别达到99.785%和98.942%,预测一张尺寸为32?×32的恶意软件图像分别只需要0.95ms和0.84ms。此外,本文还将IMCLNet与Mobile Net V3、Shuffle Net V2和Mix Net等主流的轻量化模型进行了对比,实验结果表明,IMCLNet在训练时间、准确率、参数量、模型大小和预测时间等方面都具有显著的优势。