强化学习智能体通过试错的方式与环境交互获得反馈,目标是学习到一个策略使得整体的长期累计回报最大化,受到了广泛关注,也累积了诸多应用。但是,强化学习过于依赖环境的奖赏函数,以至于在奖赏函数设计不合理时,智能体很有可能学习到性能比较低的策略。为此,研究人员提出模仿学习来缓解该问题,其智能体从示范数据中学习策略,但当示范数据不完美时,智能体也难以学习到优秀的策略。针对此,该文着重针对从示范数据中学习的角度来改进智能体学习性能,涉及完整的示范数据、不完整的示范数据和非最优的示范数据三种情况,主要内容可概括以下三部分:（1）深度强化学习算法中的探索与利用问题是强化学习研究中面临的巨大挑战,尤其是在智能体训练的初期尤为明显,需要浪费大量的时间寻找有效的信息。为了加速模型在训练初期的收敛速度,提出动作概率选择模型（Action Selection Model through Probability,ASMP）来缓解探索与利用困境。ASMP模型利用生成对抗网络塑造智能体的探索空间,对后续的动作进行概率统计,让智能体从动作概率分布中选择探索动作,从而克服随机探索策略的缺点。ASMP模型根据概率从生成的探索空间中选择下一个状态动作对并加以执行,并且作为一种附加的方法,能够与现有的强化学习算法结合起来取得高质量和更稳定的收敛效果。（2）生成对抗模仿学习类的方法奏效的前提条件很苛刻,这一类的方法要求完整且高质量的示范数据作为模仿的数据源。但是实际收集的示范数据往往存在信息丢失或信息质量降低的问题,这将导致学习到的策略可能不能达到任务的要求。针对此,提出在不完整示范数据中排序学习的生成对抗模仿学习方法（Action-Rank Imitation Learning,ARIL）,ARIL方法使用基于状态的生成对抗模仿学习方法（State-GAIL）和排序学习（Learning to Rank）的反馈来重置奖赏函数优化策略。排序学习中排序器的任务是将策略补全的状态动作排在示范数据的前面,提供缺失动作的辅助信息。因此,此时智能体将使用判别器和排序器的联合反馈奖赏来更新策略。（3）模仿学习旨在从示范数据中学习策略。但是由于现实世界中各种环境因素的影响,使得收集的示范数据常常是不完美的、非最优的。为了能够从非最优的示范数据中高效地学习策略,该研究提出基于半监督学习中非负的正例和无标记样本学习（Non-negative Positive-Unlabeled Learning,nnPU）算法的非最优示范数据下的模仿学习方法（Non-negative Positive-Unlabeled Imitation Learning,nnPU-IL）。利用nnPU方法给非最优的示范数据评分,然后根据评分设置轨迹权重来优化策略。该方法能够与现有的模仿学习方法相结合完成非最优示范数据下的模仿学习任务。最后在Gym和Mujoco平台分别验证了所提方法的有效性。