随着强化学习和深度学习的发展,其中探索和利用问题一直是深度强化学习中一个基础而又重要的概念。探索意味着降低了效率,但避免了快速陷入次优解的问题;利用则表示利用现有策略来执行,这很可能使得算法快速陷入次优解并再也不试图寻找更好的解,但也同时提高了算法的效率。在深度强化学习环境中,到底该如何平衡探索和利用呢?如何改进探索才能使得算法有发现更广阔的空间的能力?如何避免探索过程中出现的各种问题?针对上述问题,本文提出了基于好奇心机制的深度强化学习探索方法—好奇心蒸馏模块（Curiosity Distillation Module,CDM）算法。该算法基于好奇心机制探索方法做改进,认为可以用状态和神经网络预测出的状态的差值作为“惊讶值”来衡量状态的新颖程度,同时该算法结合了随机网络蒸馏的思想,提高了探索能力,并避免了被“Noisy-TV”干扰的问题出现。具体计算方法为:首先,借鉴好奇心机制探索方法,维护一个前向网络,前向网络负责预测下一个状态。其次,维护一个反向网络则通过推测相邻状态间的行为动作,并与真实动作选取对比来去除环境噪声对策略的影响。最后,将随机网络蒸馏的想法融入,避免了探索过程中出现的“Noisy-TV”问题,并提出了一种通过信息增益计算内在奖励的探索算法。将本文提出的算法形式进行现实场景中的实际应用,由此判断该方法的切实性与应用性,并在实际应用时得到了优化解答。将本文的算法和传统的算法进行深层次比较,发现其具有更广阔的探索空间,寻到了环境中更优的解。