近些年深度学习和强化学习的结合在许多复杂的决策任务和动态系统控制问题上都取得了重要的突破,与深度学习的结合使得强化学习可以有效的在高维空间生成决策序列,一些算法在实际应用中甚至都取得了超越人类的表现,使得深度强化学习(DRL)研究越来越被重视。然而在现实场景下应用深度强化学习算法还存在着许多挑战,其中数据利用率和训练效率很大程度上阻碍了深度强化学习在工业界的进一步推广。强化学习不像监督学习那样有可靠的标签,其必须依赖环境中稀疏的、有噪声的以及延迟的奖励信号去学习对应的策略,这就使得算法的应用必须明确目标和设计科学的奖励函数。在本文中根据相关生物学和心理学的研究,提出了一种基于势能函数的反思奖励(introspection-reward)设计方法,并结合多智能体和多任务学习的思想形成新的训练框架。该反思奖励表示了智能体当前决策相对过去历史决策序列的好坏程度,利用历史奖励序列的二阶信息。随后使用反思智能体(introspection-agent)辅助修正主智能体(main-agent)的策略或值函数更新。本文提出的方法可以很方便的对现有基于值函数和基于策略梯度的深度强化学习算法进行扩展,进而形成新的学习方式,使得智能体充分利用奖励信息后具有人类学习中的反思特质,更好地在对应状态下区分出最优动作。我们在Atari游戏平台和Super Mario游戏模拟器中进行算法的验证,对比现有的基于值函数和基于策略梯度的深度强化学习算法。通过实验表明,在经典的Atari游戏和更具挑战的Super Mario游戏中本文的方法都有更好的表现。随后更多的实验结果也表明本文提出的方法可以有效提高智能体的学习效率和控制鲁棒性。