近年,随着网络技术的发展和普及,全球政治、经济、文化、社会、生态、国防等领域与互联网全面融合,但同时网络空间要面临的攻击入侵变得越来越频繁。传统的恶意代码分析方法更侧重于分析恶意代码内部函数调用逻辑关系或操作码序列中的语义信息,用于恶意代码分类、检测,这种方法需要耗费大量的人力,且对分析人员的专业水平要求较高;而伴随着人工智能技术在其他领域的应用、发展、成熟,探索机器学习方法在网络安全领域的应用是一个十分重要的研究课题。本文采用代码可视化技术将恶意代码样本以灰度图的形式展现,在此基础上提出一种基于改进的迁移Faster-rcnn网络的恶意代码分类方法,该方法利用Faster-rcnn网络中的卷积神经网络提取恶意代码图像的全局特征,相较采用LBP算法和Gist算法提取局部纹理特征的方法而言能提取出更深层次的特征;采用迁移学习这种机器学习方法将预训练好的网络模型中表征通用特征的低层参数直接迁移到恶意代码分类模型中,微调集中贡献于目标数据集的高层网络参数,加快恶意代码分类模型训练时的收敛速度;并构建新的目标函数,解决RPN网络生成恶意代码图像text节候选建议框时回归误差大导致分类占比不高的问题,使得网络在反向传播过程中能够调整到最优参数,从而提高分类准确率,进一步实现对可视化恶意代码的分类。本文实验收集了6类恶意代码家族的恶意样本进行了两次实验,对比了迁移之前和迁移之后的实验结果,就模型收敛的快慢、准确率、检测率、误报率等方面进行了比较,实验结果表明,本文提出的方法能够加快模型的收敛速度,并且在实验所用样本数据集上取得了很好的分类结果。还对比了其他针对可视化恶意代码分类的方法。实验结果表明,本文提出的方法能够实现恶意代码的有效分类。