强化学习是智能决策领域中的重要研究方向。智能体能够通过试错学习的方式学会如何执行一项任务。结合上神经网络的后,这项技术在最近取得了一系列重大的成功,如在围棋领域击败当前最好的人类选手,在49个Atari游戏中表现超过人类玩家,以及在许多机器人任务中取得了突破。然而强化学习常常面临效率不高的问题,智能体需要在环境中进行大量的交互,消耗大量样本。通常来说,在强化学习中环境的反馈都是滞后的,虽然在环境中的每一步行动都会给予一个反馈,但是最终需要优化的累计回报在时间上存在一定的滞后性,这就造成了强化学习在学习时效率不高的问题。我们在研究中发现对决策分布进行建模可有效缓解反馈滞后的阻碍。本文对课程学习和模仿学习两种有效解决反馈滞后的方法开展研究,通过加入决策分布建模技术,取得了性能的提升,具体工作如下:1.在课程强化学习中,以往方法智能体无法区分已学习子问题和未学习子问题,造成智能体在已学习子问题上进行无效探索,造成探索样本浪费,针对该问题本文提出了课程问题空间的决策分布建模方法用来区分不同子问题,以此来控制智能体的探索力度。实验表明,通过密度估计来控制探索的方法能够有效减少不必要的探索样本消耗。该方法被分别应用于人工设计的课程与自动生成的课程中,都对学习效率有明显的提升。2.在模仿强化学习中,以往方法无法应对环境变动,造成模仿学习的结果泛化能力不足,针对该问题本文提出了环境空间的决策分布建模方法,可从有限的专家数据中生成有效的决策模型,该方法用于仓库派单应用场景中模仿拣选员的行为分布,并用于优化派单决策。在离线和线上A/B测试中,环境空间的决策分布建模方法远超传统方法的性能,尤其是在线上应用时对于拣选效率有10%左右的提升。