深度强化学习方法已在Atari电子视频游戏和机器人控制等复杂决策领域中表现出突出的学习能力。然而,深度强化学习的学习过程完全依赖环境的奖励作为反馈,因此很难在奖励稀疏的环境中学习到有效的策略。作为高级智能体,人类具有丰富的知识与强大的感知与推理能力。本文基于人机协作的思想,通过自然语言的形式,将人类的高级智能引入到强化学习智能体的训练过程中,在智能体做决策时提供人类的先验知识作为辅助,同时给出额外的反馈作为环境奖励的补充,从而解决强化学习智能体在稀疏奖励环境中的学习问题。首先,本文提出基于自然语言奖励构造的人机协作深度强化学习方法。奖励构造通过构建额外的奖励函数使问题变得更易于智能体学习,然而设计奖励函数对非专家较为困难。为此,本文通过提供给智能体自然语言形式的指令,并对智能体的执行效果进行判断,给予智能体额外的奖励,实现奖励构造,从而对智能体的学习过程进行指导。其次,本文将后见经验回放(Hindsight Experience Replay,HER)与自然语言表示相结合。HER基于“后见之明”的思想,在智能体采取行动后修改智能体的目标,将失败的经验转换为成功的体验,从而解决稀疏奖励的问题。然而HER缺乏简明而通用的目标表示形式而具有有限的适用性。本文提出以自然语言作为目标的表示形式,并结合基于完成度的奖励构造实现后见经验回放,辅助强化学习智能体在稀疏奖励环境中的学习过程。本文通过Atari电子视频游戏来验证算法的效果。为了实现算法与游戏环境的交互,本文使用了 OpenAIGym平台,并选择了具有典型稀疏奖励特点的Montezuma’s Revenge作为实验环境。通过一系列实验与分析,本文验证了基于人机协作的强化学习方法在稀疏奖励环境中的有效性,并通过与基准模型的对比进一步验证了算法的性能。