随着大数据和物联网以及5G通信技术迅猛发展,网络安全问题日益严峻。恶意软件制造者依托代码复用技术快速地生成新型恶意软件,新型恶意软件不断威胁着现有的检测技术。日益增长的恶意软件持续威胁着人们的财产,设备和隐私安全,基于恶意软件的网络攻击更是对国家网络空间的巨大威胁。研究精准的恶意软件识别方法对维护我国网络空间安全有着重大的意义。恶意软件广泛存在和藏匿于PC和移动设备中,近年来具有较多漏洞的物联网设备逐渐成为恶意软件新的攻击目标。不同恶意软件具有其特殊目的性和破坏性,而同一家族的恶意软件往往依托代码复用技术生成,因此其行为、数据、代码等具有高度的相似性。依托GPU并行计算和深度学习算法的发展,深度学习成为人工智能发展主流和热点问题的解决方案,该技术也被广泛应用于恶意软件分类中,并取得了卓越的成效。本文结合恶意软件图像化技术和深度学习技术对恶意软件进行分类,主要工作及贡献如下:（1）对数据集使用合适的方法进行标记,本文取得的原始EXE恶意软件没有相应标记,无法对其进行基于监督学习的训练和测试,如何对其进行合适的标记使其归类为合适的家族对后续的实验尤其重要。常用的标记方式有脚本和其他安全引擎。本文采用Virustotal Json Report结合Avclass恶意软件标记工具方法,把恶意软件标记为Report中可能性最大的家族。简化恶意软件标记步骤,提高标记的效率。（2）将原始恶意软件首先进行预处理得到其字节流,再使用Bin2Pixe l算法将字节流转化成灰度图。然后收集其字节流的Bigram序列,将Bigr am序列标准化到图像的像素点范围内,再将其转化成灰度图像。最后使用IDA＿Pro工具将其批量转化成反编译文件,本文选择相比Asm文件信息量更多的Lst文件,并将其转化成灰度图像。因此本文可以得到恶意软件图像、Bigram图像、Lst图像三种不同类型的灰度图像数据集。（3）针对传统恶意软件分类采用单通道图像分类准确率不高、抗混淆能力弱的缺点,本文对恶意软件图像表示方法做一定的改进,将恶意软件、Bigram、Lst三种灰度图像组合成三通道彩色图像进行分类,三通道彩色图像相比单通道图像包含更多信息。实验结果显示三通道图像具有更高的准确率。（4）Efficient Net是2019年被Google提出来的一种深度学习模型。其刷新了Image Net分类的准确率记录,证明了其对图片纹理的识别能力。因此本文改造Efficient Net使其能够适用于本文数据集。实验证明使用改造后的Efficient Net相比其他网络能获得更高的准确率。（5）针对预训练消耗较长时间才能使模型收敛,且需要丰富的调参经验和海量数据的问题,本文提出深度学习结合迁移学习中的微调方法对模型进行训练,该方法能够利用已有领域的“知识”进行开销很小的学习,使模型在较短时间内收敛,且能够达到很好性能。本文通过实验发现,比起预训练,微调能够更快地使模型收敛,且在较少的周期数使准确率达到最大,大幅地节省调参和训练时间以及收集数据的开销。本文使用两种微调的权重,分别是Image Net和Noisy Student（仅Efficient Net提供）。实验结果显示通过微调对分类准确率有着显著的提升。在本文数据集上能够最大化准确率。