深度强化学习算法是近年来机器学习领域的一个研究热点。但在面对复杂环境的决策问题时,深度强化学习算法的表现仍有待提高。内在奖赏是深度强化学习领域中用于解决复杂环境中“硬探索”问题的一种重要思想。本文的主要工作从改进现有的基于内在奖赏的深度强化学习算法入手,围绕智能体样本获取速度低下、环境预测模型不准确以及易受“电视噪音”状态影响等问题展开,研究内容主要包含以下三个部分:（1）针对无模型深度强化学习算法样本获取效率低下的问题,本文提出一种基于内在奖赏的环境预测模型算法——好奇心变分自编码器。该算法使用智能体所经历的真实样本进行训练以获得环境的潜在表示,并通过其产生生成样本以提高样本获取速度和效率。在此基础上,将该算法与好奇心驱动探索进行融合以提升智能体的探索效率。基于上述改进,本文将该算法与深度Q网络算法相结合,在Atari 2600环境中验证了算法的性能以及有效性。（2）针对环境预测模型的不准确而造成的持续的高内在奖赏问题,本文提出一种使用状态特征来预测内在奖赏的算法——基于好奇心驱动的潜在世界模型算法。该算法首先以自监督的方式抽取状态特征,然后在特征层面使用循环神经网络来获得环境的潜在表示,从而得到更加稳定的内在奖赏。同时,本文从探索难度以及奖赏分布两个层面对不同的环境进行了分类。此外,本文将该算法应用于无模型深度强化学习算法中,在Atari 2600环境中针对各类游戏的特点评估了这些方法,实验证明,该方法能有效地改善这些算法的性能。（3）针对基于预测误差的内在奖赏探索策略易受到“电视噪音”状态影响的问题,本文提出一种基于内在奖赏的深度强化学习算法——基于好奇心-伪计数驱动的深度强化学习算法。该算法改进了内在奖赏的设计以缓解智能体在多场景游戏的场景边界停止探索的问题。同时,本文将两个预测模型的方差用于内在奖赏的设计以得到更加准确的内在奖赏。此外,本文选取了Atari 2600环境中各类游戏作为实验对象,实验表明,好奇心-伪计数驱动探索能有效地提高这些游戏的表现。