随着互联网的普及,越发频繁的恶意软件攻击已经成为网络安全防护中最严重的威胁之一。而这其中,由混淆、加壳等一系列修改技术所产生的恶意软件变体更是恶意软件检测目前面临的最大挑战,它不仅会对个人用户的信息隐私造成严重的伤害,也会给国家网络安全带来巨大的威胁。因此针对恶意软件变体所带来的安全问题,必须找到有效的解决方案。近些年,国内外的研究者们已经在恶意软件检测领域上做了大量的工作,然而这些工作大多都还存在着一些问题,如浅层的特征容易受到混淆技术的干扰,或者是单一类型的特征无法全面描述恶意软件的信息等。针对这些问题,本文在对恶意软件变体与其家族间在不同视图下的特征进行充分调研后,提出了一系列对恶意软件变体进行智能检测的方法。本文的主要工作内容如下:（1）针对传统基于浅层特征进行匹配的检测方法容易受到混淆技术的干扰而出现错误检测的问题,本文提出了一种基于分解式深度卷积网络（Decomposed deep convolutional network,Dec-DCNN）的恶意软件变体检测方法进行优化。该方法采用灰度图纹理信息作为检测的特征,通过灰度图纹理信息的全局性特点来提高模型对混淆技术的防御能力。此外,为解决深度卷积网络在检测时所带来的高计算损耗问题,本文提出了一种基于Dec-DCNN网络的卷积优化方法,能够在无需重新训练的情况下,既能保留原有预训练网络的检测精度,又能有效降低深度卷积的计算资源消耗。实验结果证明,与目前主流的恶意代码可视化检测模型相比,本文所提出的方法对恶意软件图像纹理特征的表达能力更强,检测速度更快。（2）针对传统的恶意软件检测方法只停留在单一类型特征上进行检测,无法从全局层面上对恶意软件进行表示的问题。本文设计并实现了一种基于不同种类特征相融合的恶意软件变体检测方法。该方法采用Dec-DCNN和信息增益（Information Gain,IG）分别从恶意软件灰度图和汇编代码中提取图像纹理信息和重要操作码组合共同构建融合特征空间,由于不同种类的特征能够从不同维度对恶意软件的全局和局部信息进行分别描述,因此构建融合特征空间能够有效提高模型对恶意软件变体信息的描述能力。实验结果表明,与单一类型特征的检测方法相比,本文所提出的方法对恶意软件变体具有更好的检测性能。