深度强化学习算法的研究在越来越多的领域取得了重大突破,然而大多数情况下,针对一个任务训练出来的模型在新任务中的表现并不好。元学习理论指出,深度学习模型可以利用先验知识获得在新任务中较快学习的能力,结合强化学习则称为元强化学习。本文基于Actor-Critic算法,先探究由动作价值网络、状态价值网络构建的Double-Critic模型在相同任务和其它近似任务中的性能表现,并对结果进行分析。随后将该模型和任务编码器相结合,构建Meta-Critic模型,使用不同的策略网络在不同的任务中对该模型进行训练后得到一个预训练的元模型。当给定新的任务时,元模型中的动作价值网络可以当做一个预测网络,策略网络在Agent做出决策前,根据预测网络提供的动作价值计算下个状态价值的期望并更新当前策略,从而以最快的速度对新任务进行探索并收敛到最优策略。模型中动作价值网络损失函数的目标值由状态价值网络给出,这种方法使Meta-Critic模型的更新过程不依赖策略网络对动作的预测,进一步提高了模型调整过程的稳定性。最后使用该模型和其它算法,分别在多个新任务中进行测试来对比它们在新任务中的性能表现。最后的实验结果表明,该模型在新任务中的性能表现较好,这说明Meta-Critic模型通过对已有任务的学习,具备了在新任务中对策略网络进行有效指导的能力。同时期待该模型能够结合离线学习算法思想,达到对已有数据的充分利用,从而使预训练过程更加快速稳定。