在互联网的普及和发展过程中,网络安全已然成为一个越来越令人关注的问题,恶意代码也已经成为了网络安全中的主要威胁之一,不同类型的恶意代码具有不同的功能,造成不同的危害。然而伴随着国内外恶意代码检测技术的提高,恶意代码也在更新升级,不断的出现新型的恶意代码以及恶意代码的变种,这对恶意代码的分类提出了更大的挑战,因此,如何提高恶意代码分类的准确率和效率成为亟待解决的问题。随着大量恶意代码数据的出现,以及样本不均衡问题日益突出,传统机器学习算法的分类准确率和效率越来越差,而深度学习在各个领域中取得的效果证实了深度学习能够提高大数据识别的精度,已有部分文献使用了深度学习用于恶意代码的分类。本文在原有深度学习算法的基础上,提出了改进的深度学习算法,并且将深度学习中的图神经网络用于恶意代码的分类中,进一步提高分类的准确率和效率。本文的主要工作如下:（1）本文基于反汇编得到恶意代码数据集的ASM文件,并分析文件中操作码的特征,研究了三种恶意代码的特征提取方式,包括灰度纹理图像、N-gram文本特征以及生成图的方法,并给出了特征提取的过程,作为后续深度学习模型的输入层。（2）本文提出了基于卷积神经网络（Convolutional Neural Network）和正则化算法（Batch Normalization）的恶意代码分类,即构建了CNN＿BN模型,并给出了模型的最优参数。卷积神经网络模型可以提取恶意代码的高级特征,正则化算法不仅加快了深度模型的训练过程,而且能有效防止模型的过拟合,从而提高模型的泛化能力。文中将CNN＿BN模型与传统机器学习算法（随机森林和支撑向量机）和其他深度学习模型（循环神经网络）、以及已有文献中的方法进行了比较,实验结果表明,基于CNN＿BN模型其分类准确率达到了98%,AUC以及平均的F1值分别达到了0.97和0.95,在分类结果上优于其他方法。（3）本文提出了基于图注意力网络（Graph Attention Network）的恶意代码分类,即构建了GAT模型。通过余弦距离以及恶意代码API共现特征构建具有点和边的图结构数据,GAT通过注意力机制计算图中某个节点相对于每个邻接节点的注意力,将节点本身的特征和注意力特征聚合起来作为该节点的特征,在此基础上进行节点的分类。文中将GAT与CNN＿BN模型在分类准确率和效率上进行了比较,GAT模型其分类准确率达到了99%,AUC以及平均的F1值分别达到了0.99和0.97,并且GAT分类模型的时间效率远优于CNN＿BN模型。