恶意软件依然是网络安全的主要威胁之一。面对日益增长的恶意软件及其新变种,传统检测方法越来越受限于效率不足的问题。为了弥补缺陷,恶意软件分析师倾向于采用基于机器学习（Machine Learning,ML）的检测系统,其能在一定程度上实现自动化检测且检测效果良好,其中特别是深度学习（Deep Learning,DL）方法和技术在恶意软件检测领域中越趋流行。然而,ML模型无法应对对抗恶意软件样本攻击,相关领域研究者提出了一些攻击方法和防御策略,但设计一个在对抗环境下鲁棒的恶意软件检测器依然充满挑战。本文宗旨在于呈现对抗环境下的恶意软件检测,并提出新的攻击与防御方法,为未来的研究打下基础。为此,本文借助对抗学习相关方法和技术系统化对抗恶意软件检测。系统化框架包括整合相关领域中的假设、攻击、防御和安全属性,通过偏序集细致化描述攻击和防御双方的知识场景,不同场景下不同的方法不具可比性。进一步地,本文对现有主流攻击方法和防御方法进行分类,总结攻防双方之间的对抗演化升级路线,点睛当前具有前景的防御机制和攻击方法,并讨论领域相关的研究难点。在新建框架的基础上,以增强基于DL的恶意软件检测器鲁棒性为中心,本文提出新的新的防御机制。主要的创新工作如下:（ⅰ）本文提出了一种对抗学习技术的恶意软件检测器鲁棒性增强框架。框架根据六个防御技术设计,其中部分防御已在现有文献中出现,其余则首次被提出。本文首先在本地安卓恶意软件数据集上使用20个攻击（包括11个灰盒攻击和9个白盒攻击）对防御框架有效性进行验证,然后将框架应用于对抗恶意软件分类挑战赛并获得冠军。进一步的实验结果显示极小极大对抗训练（Min-max Adversarial Training）显著地提高模型的鲁棒性,但基于集成学习的防御可能无益于对抗恶意软件检测。（ⅱ）本文提出了一种对抗深度学习集成的防御方法,称为Adversarial Deep Ensemble（ADE）,用于从攻击者和防御者双方视角分析集成学习在规避攻击下的有效性。“集成”允许攻击者通过组织多种恶意软件修改的操作集与多个对抗样本生成方法发动混合攻击;作为对手,“集成”允许防御者通过组织多个分类器设计防御机制。进一步地,本文采用混合攻击实例化极小极大对抗训练框架,以增强神经网络集成模型的鲁棒性,即ADE。本文在两个安卓恶意软件数据集上通过26个不同的攻击实验验证防御模型的有效性。实验结果表明ADE可有效防御除了混合攻击和拟态（Mimicry）类攻击以外的攻击生成的对抗样本;集成学习本身能提高模型鲁棒性的前提是其包括的基本模型的鲁棒性要足够好;物理世界的混合攻击可有效降低几十个杀软组成Virus Total服务效果。（ⅲ）本文提出了一种原则化对抗检测（Principled Adversarial Detection,PAD）方法。“原则化”指理论上保证极小极大对抗训练内部最大化的攻击效果和外部最小化的的收敛性,两者均有效对于对抗训练而言,缺一不可。因为此处采用极小极大对抗训练增强无监督学习的对抗样本检测器,故更名为对抗检测,以示区别,其中对抗样本检测器意图将对抗样本检测为离群点,便于后期对其做进一步的检查。PAD从理论上保证极小极大对抗检测的内部（近似）最大化与最优攻击之间的差距以及训练时外部最小化的收敛性分析性。本文进一步地通过混合攻击实例化对抗检测。此外,为了得到鲁棒的软件特征表示,本文提出一种新的网络模型结构学习应用系统接口（Application Programming Interface,API）函数相关的特征。最后,防御的有效性通过在两个安卓数据集上分别采用小扰动的对抗样本和高自信度的对抗样本进行实验验证。实验结果显示PAD可有效检测使用小扰动的攻击方法,但无法有效检测高自信度的对抗样本;通过混合攻击增强的对抗检测模型能有效检测多种攻击,包括本文提出的混合攻击,但无法高效检测拟态（Mimicry）类攻击。