随着信息化互联网的不断发展,软件对人们生活和工作的影响越来越大,由于利益驱使出现越来越多的恶意软件,对正常的软件业务产生越来越多越来越隐藏的威胁,因此,人们越来越重视对恶意软件的预防和检测,而保障网络世界的安全也显得越来越重要。恶意软件技术的不断发展使得样本研究分析和检测的成本越来越高,而准确分类是恶意软件准确检测的前提,恶意代码样本的分类研究可以帮助分析人员了解与恶意软件相关的风险与威胁,对恶意软件开发的意图与新趋势做出反应,帮助提高检测准确性或采取应对威胁的预防措施。因此,如何迅速高效地对恶意软件进行分析并提取有效特征成为了保护网络安全的重要内容。当前对恶意软件的分析大多基于特征提取的方式,通过对恶意软件的字符串、汇编码、操作码、PE结构或捕捉的动态调用结果进行特征提取,使用机器学习算法学习其特征并完成检测分类。但是随着恶意软件技术的发展,混淆、加壳、反沙箱等技术层出不穷,为了对抗这些复杂恶意软件,需要有效的特征提取方法和高效的学习算法进行恶意行为模式挖掘。随着机器学习技术的发展,使用先进机器学习算法研究恶意软件已成为趋势。本文针对当前恶意软件特征提取和分类算法的局限和不足,进行了如下研究:(1)提出一种结合恶意软件静态特征和动态特征的混合特征提取方法。针对静态分析难以应对恶意样本混淆技术,而混淆技术会模糊和隐藏恶意代码,使得在面对混淆代码时无法按照预期提取出有效的静态特征,以及动态特征存在特定恶意行为难以被触发而无法检测的问题。本文结合静态PSI和动态调用序列的相关理论,提出一种恶意软件混合分析方法,通过组合静态和动态特征,以在一定程度上克服使用单一方法时的缺陷。(2)提出一种基于因子分解机的混合特征恶意软件分类方法。针对以往在使用混合特征的方法中虽然都同时使用了静态和动态分析,但是本质上还是独立地计算各种特征的权重,没有将不同种类的特征之间的交互影响考虑进来。本文使用因子分解机作为恶意软件分类器对特征之间的交互影响进行建模,以提高分类学习的准确性。同时由于因子分解机在面对稀疏特征计算中的优越性,降低了混合特征二进制编码的稀疏特性计算的复杂度。(3)提出一种基于Kronecker卷积神经网络的恶意软件动态特征分类方法。由于恶意软件行为的特点,即恶意操作通常表现为短调用序列,而Text CNN对于短序列的意图识别较为优秀,因此本文使用Text CNN的方法来分析恶意软件动态调用序列。但是卷积的大小选择难以平衡速度与序列特征的捕捉,为了使用更大卷积而不影响性能,本文使用Kronecker卷积对Text CNN进行改进。Kronecker卷积通过多个小矩阵的Kronecker积的组合来替换大的卷积权值矩阵,可以在扩大感知域的同时而不增加卷积参数,解决了空洞卷积局部信息丢失问题,对恶意行为的短序列学习也更加迅速。