近年来,深度强化学习技术在各个领域广泛应用,为了增强其泛化能力提出了多目标强化学习算法,然而多目标强化学习算法仍然面临着大多数强化学习算法都会遇到的稀疏奖励问题,算法在稀疏奖励环境下难以获得有效的奖励,样本利用效率非常低。HER（Hindsight Experience Replay）算法的提出从失败样本中获取经验,一定程度上提高了样本利用率。为了进一步提高样本利用效率,本文将HER算法重标记得到的经验用作专家示例,使用了模仿学习和课程学习的思想对HER算法进行优化,旨在提升样本的利用效率,并使用任务成功率作为实验的评价指标。本文主要贡献如下:首先,将HER算法目标重标记阶段新产生的经验用作专家示例,利用这些专家示例进行学习,提出了Lf HER算法。在DQN（Deep Q Network）算法上借鉴DQf D（Deep Q-learning from Demonstrations）,在损失函数中加入监督损失项;对于DDPG（Deep Deterministic Policy Gradient）算法,在Actor网络中加入行为克隆损失项,在Critic网络中加入监督损失项和Q-filter。实验结果表明,本文提出的Lf HER算法比HER算法收敛速度快得多,大大提高了样本利用效率。然后,考虑到HER算法的目标选择策略是随机的,一定程度上限制了算法能力的上限,本文借鉴了CHER（Curriculum-guided HER）算法的思想,设计了评估目标的度量,将与期望目标的相似度和所选目标的多样性加权求和,并根据该度量制定新的目标选择策略。实验表明,CHER算法在本课题的实验环境下均表现得比HER算法更好。最后,本文使用CHER算法改进Lf HER算法,提出了Lf CHER算法。不同于Lf HER算法,Lf CHER算法在目标选择时不再是随机采样,而是根据设计的评估度量,选择对当下阶段更有利的目标进行重标记和模仿学习。实验结果表明,本文提出的Lf CHER算法在本课题的实验环境下均表现得比Lf HER算法效果好,训练速度更快、稳定性更好,且需要的采样数量仅为Lf HER的四分之一。