论文部分内容阅读
近年来,深度强化学习在许多领域都取得了一定的成功并得到了广泛的应用。其应用是否具备承受攻击能力和强抗打击能力也随之成为近年来的关注热点。因此,在人工智能安全性的大背景下,本文挑选了深度强化学习中极具代表性及经典的深度Q网络(DQN)算法进行研究。同时将强化学习系统中的智能体自动寻路应用作为对抗应用场景,构建应用上贴近民用的无人驾驶和军事实战的具有代表性的AI强化学习系统,并针对DQN对对抗性样本的脆弱性,对其进行攻击。本文利用DQN算法实现智能体的自主寻路,寻路路径为最优最短路径,同时对寻路路径的规则及特点进行分析和评估。基于此,本文提出了基于白盒的对抗性样本生成算法(WAG)和基于WAG算法的对抗性样本预测模型(APM)两种方法。在对抗性样本生成的研究中,通过对影响DQN路径规划算法的两个的因素Q值和梯度值进行分析和总结,提出了基于白盒的对抗性样本生成算法(WAG)。该算法可以实现对所有可能对路径规划造成攻击的对抗性样本点的检测。这些对抗性样本会不同程度的干扰智能体寻路,使其通过自主寻路无法达到应有的最优最短路径并能够成功的降低它的训练效率。在对抗性样本的预测研究中,本文提出了对抗性样本预测模型(APM)。对通过WAG算法找到的所有疑似对抗性样本的特征进行分析,根据对抗性样本对路径的影响程度即寻路时长和寻路步长将对抗性样本分为两类,分别为普通攻击点和致命攻击点。然后,提取对抗性样本的Q值和梯度值特征,利用典型相关分析算法(CCA)实现特征之间的关联和融合。同时对对抗性样本建立标签,将对路径规划影响最大的点命名为“致命攻击点”,除该点外的点命名为“普通攻击点”。最后利用K近邻算法(KNN)实现对两种类型对抗性样本点的预测。为了证明WAG和APM两个方法的有效性,本文构建了一个仿真环境作为平台进行实验。首先制定了是否为对抗性样本的判定标准,然后通过大量的实验发现通过提出的WAG算法可以成功的找到对抗性样本,并且从多个角度对实验结果进行分析。最后,通过APM方法建立分类预测模型,通过实验证明该模型能较好的实现对两种类型的对抗性样本点的预测,且分类模型的准确率达到了94.8%。