深度强化学习是结合强化学习和深度学习的技术,近年来在人工智能方向获得快速发展突破,且在社会的各个领域都有所应用,例如金融交易、自动驾驶、网络安全。随着深度强化学习的应用越来越广泛,越来越多的研究人员开始对深度强化学习技术的安全性进行研究。目前已经有研究表明深度强化学习技术容易受到对抗样本的攻击和容易受到模型窃取的攻击。攻击者可以利用模型窃取技术窃取目标模型,给模型所有者造成商业价值损失,因此保护深度强化学习中的模型至关重要。本文从攻击者的角度出发,研究深度强化学习中的模型窃取问题,对构建安全可靠的深度强化学习模型具有重大的研究意义。现有的针对深度强化学习的模型窃取技术具有训练代价大和窃取风险大的问题。为了解决以上问题,本文以Deep Q Network（DQN）作为目标模型,以窃取目标模型作为目的,提出两种深度强化学习模型的窃取技术,包括:基于Q值访问的模型窃取技术和基于Q值预估的模型窃取技术。（1）基于Q值访问的模型窃取技术。该方法目的是窃取目标模型DQN。方法的实现流程是首先窃取到目标模型的训练数据,其次使用窃取到的训练数据训练本地替代模型,最后评估本地替代模型的性能是否接近目标模型。考虑到目前已有的模型窃取技术存在的训练代价大以及窃取风险大等问题,在该方法中目标模型训练数据的窃取阶段进行了数据筛选处理,使用Q值访问的方法完成关键数据筛选。因此该方法使用少量关键数据即可完成目标模型的窃取,这种方法降低了模型窃取的代价。（2）基于Q值预估的模型窃取技术。该方法是对第一种方法的改进,针对第一种方法中存在的存储代价大、数据筛选效率低、隐蔽性低的问题进行了优化。该方法实现流程是首先训练数据挑选模型,其次使用数据挑选模型挑选关键数据,然后使用关键数据训练本地替代模型,最后评估本地替代模型性能。与Q值访问的模型窃取技术相比,Q值预估的模型窃取方法使用数据挑选模型挑选关键数据,不仅避免了数据挑选过程中不重要数据的存储,还避免了频繁访问目标模型的Q网络。因此该方法提高了模型窃取技术的窃取效率以及窃取隐蔽性。