在信息安全领域,Rootkit技术扮演着相当重要的角色。在常见的木马病毒等手段对目标机器的攻击中,常常采用Rootkit技术隐藏自身的文件、进程以及网络连接等信息来达到长期潜伏于目标系统中的目的,以此来对抗目标主机入侵检测系统的检测,这将会对计算机用户产生巨大的威胁。如果想更好的防范此类针对目标主机的入侵行为,则有必要对Rootkit恶意行为的检测技术展开深入的研究。本文主要致力于Rootkit恶意行为的分析与检测技术的研究。传统的静态分析技术对恶意样本进行反汇编,从而获取样本的静态特征。但是对于使用混淆技术的恶意样本,传统的静态分析方法很难达到预期,导致获取恶意样本的静态特征成本过高。因此本文采用将恶意代码映射成灰度图像的方式,通过识别图像纹理从而来克服上面的问题。但由于传统的图像纹理分析方法对Rootkit恶意代码生成的灰度图像中纹理特征提取效果不好,因此本文提出利用深度学习对Rootkit映射生成的灰度图片进行纹理分析。深度学习在图像识别方面的性能优于许多其他分类器。本文对捕获的五类Rootkit程序和自体程序进行分类,实验结果取得了 97.2%的检测率、9.4%的误报率和92.9%的总体准确率,并且AUC值也达到0.983,取得了良好的检测效果,达到预期的目标。