强化学习基于其自主学习特性,在很大程度上推动了人工智能的发展。同时随着深度学习的兴起,该领域进一步迈入了深度强化学习时代。在各种主流的深度强化学习模型中,以异步优势演员-评论家模型（A3C）为代表的异步深度强化学习模型,凭借其独特的异步并行框架,引领了由并行计算带来的深度强化学习革命。随着A3C模型越来越多的部署于高安全敏感性的应用场景,其所面临的安全问题日益凸显,包括A3C模型健壮性分析、模型安全漏洞分析以及模型隐私泄露分析等,以上安全问题的存在已成为阻碍该领域蓬勃发展的关键壁垒。本论文针对A3C模型的安全问题,结合异步框架下的并行计算特点,对A3C模型开展相关安全性分析。本论文的主要研究内容及其贡献包括以下三个方面:（1）面向A3C模型训练过程中的弱决策现象,提出了针对A3C模型的健壮性评估方法。A3C模型在训练时,由于学习率设置不恰当、智能体数量多、状态空间尺寸以及训练中智能体初始状态的分布等多种复杂的因素,会出现一种弱决策现象。由于这一现象的存在,针对A3C模型的健壮性衡量无法直接利用现有的深度强化学习模型健壮性评估方法,即基于神经元覆盖率的健壮性评估、基于模型性能表现的健壮性评估等。因此,A3C模型的健壮性评估成为了深度强化学习安全研究领域中的关键安全挑战之一。本研究针对异步框架中的弱决策现象,提出了新的A3C模型健壮性评估指标:偏态和稀疏态。同时,基于A3C模型全生命周期上的状态价值提取,分别提出了针对A3C模型的静、动态健壮性评估方法,实现细粒度、过程可量化的模型健壮性评估。（2）面向A3C模型渗透测试,提出了针对A3C模型安全漏洞的重训练攻击方法。A3C模型中存在由异步框架下并行计算带来的重训练触发漏洞,容易受到对抗性攻击威胁,严重影响了A3C模型的安全性。然而,目前针对对抗性攻击的深度强化学习安全性研究,忽视了异步框架下与A3C模型重训练机制相关的安全分析,国内外尚未发现该相关研究。本论文聚焦异步框架下A3C模型重训练机制的安全漏洞分析,提出了基于梯度带构建和穷举策略的重训练攻击构造方法。开展了渗透测试,进行了充分的安全漏洞分析,进而验证了A3C模型中重训练攻击漏洞的存在。同时,针对重训练攻击设计新的攻击效果量化指标,并给出相应模型防御建议。（3）面向A3C模型超参数隐私保护,提出了针对A3C模型奖励函数隐私泄露的对抗性轨迹生成方法。奖励函数作为深度强化学习模型中的关键超参数之一,往往需要大量的专家经验与实际检测确定,其设计与模型性能的优劣息息相关,属于具有很高商业价值的模型隐私。目前,在针对奖励函数的深度强化学习模型隐私保护研究领域中,大多数工作仅从对抗攻击者角度开展对抗加固研究,而忽视了加固本身可能引发灾难性状态,从而导致模型本身性能大幅衰减的情况。针对该问题,本论文面向A3C模型提出了一种基于奖励值聚类互信息的,模型奖励函数隐私泄露评估方法。同时,面向灾难性状态规避,提出了一种基于关键性状态选择和内在恐惧模型构建的对抗性轨迹生成方法,增加超参数逆向难度,在一定程度上保障了模型奖励函数隐私安全。