JavaScript恶意代码检测已经成为Web应用安全领域的热点问题之一。目前,将机器学习或者深度学习方法融合应用于恶意代码检测已成为研究热点。但有研究表明,基于机器学习或者深度学习的恶意代码检测模型极易受到对抗攻击:攻击者通过混淆恶意代码等方法生成对抗样本,对恶意代码检测模型实施对抗攻击,使检测模型产生符合攻击者预期的特定输出。本文开展JavaScript恶意代码对抗样本的研究,探索强化学习DQN（Deep Q Network,DQN）在恶意代码领域生成对抗样本的应用,从对抗攻击和防御两个方面来研究,基于强化学习DQN生成的对抗样本在恶意代码检测模型中的作用。本文的主要工作如下:针对现有的恶意代码对抗样本生成方法依赖于人为控制,且难以保证代码原本功能和生成效率低等问题,提出一种基于强化学习的JavaScript恶意代码自动化生成对抗样本模型DQN-CNN。DQN无需获知CNN模型内部具体结构,就可通过自动调整模型的动作攻击CNN模型,以得到绕过CNN模型检测的对抗样本。实验结果表明,DQN-CNN模型所产生的对抗样本能成功绕过JavaScript恶意代码检测模型的检测,其中LR检测模型的识别率由95.6%降低至1.46%,且对RF、DT、SVM、GBDT等基于机器学习恶意代码检测模型攻击迁移成功率超过92.12%。针对基于机器学习或者深度学习恶意代码检测模型,抗攻击能力较弱的问题,提出一个基于对抗样本的JavaScript恶意代码对抗防御模型ADNet。ADNet由对抗样本检测模块和恶意代码检测模块组成。待检测样本首先经过对抗样本检测模块区分样本为对抗样本或原始样本,然后恶意代码检测模块再区分原始样本为恶意代码或良性代码。实验结果表明,ADNet在基于强化学习DQN的对抗攻击下具有一定的防御能力,ADNet与DQN组成新的对抗模型DQN-ADNet生成对抗样本成功率显著下降,从45.7%下降为13.6%,证明ADNet的抗攻击能力得到了显著提升。最后,设计并实现一个JavaScript恶意代码检测系统原型,实现检测网页地址URL中是否存在恶意代码与检测上传文件是否为恶意代码两个功能。