人工智能研究在深度学习和大数据的深入结合的趋势下已经发生了革命性的进步。深度强化学习（DRL）在传统强化学习的基础上结合了神经网络强大的建模能力,能够在各类决策控制任务中展现出了自身独有的高效性能,引起了学术界和工业界越来越多的关注以期实现通用人工智能的愿景。然而许多实际强化学习应用都要求智能体快速学习多个相似任务,为了达成针对一类任务进行快速学习的目的,研究员们提出了利用先验任务经验来解决新任务少样本训练的元深度强化学习。当前主流的基于策略梯度的模型不可知元深度强化学习算法因其具有广泛的适用性并能实现对新任务的快速适应而在各种场景发挥越来越重要的作用。然而,现有的元DRL通常也面临着诸多问题和挑战。首先,他们使用简单的高斯近似从几个训练样本中学习新任务往往会引起很大的不确定性,导致模型精确度不足。其次,他们在利用以前的经验来指导探索新任务方面存在不足,无法快速适应奖励稀疏的新环境。针对以上两个问题,本文进行了如下研究:为了解决基于策略梯度的元DRL训练中的模型不确定性,高方差、收敛速度慢等问题,本文提出一种基于贝叶斯参数更新机制的元模型不可知深度强化学习（Bayesian-MAML）,该方法有如下优点:（1）该方法在对先前任务的快速适应过程中可以比简单的高斯近似更灵活地学习任务后验的不确定性;（2）该方法结合了马尔科夫链蒙特卡洛方法和变分推理的优势,可以有效减少目标分布和近似分布之间的差异。实验结果表明,Bayesian-MAML利用贝叶斯参数更新机制来代替简单的高斯近似,可以有效地提高学习模型在解决复杂不确定性任务的表现。为了解决当前元DRL在类似现实任务的奖励稀疏任务下算法探索性能不足的问题,本文分析了现有元DRL在利用先验任务经验进行探索存在的不足,进一步提出一种基于潜在嵌入空间模型的模型不可知的元深度强化学习算法（LSE-MAML）。该方法利用先验经验训练一类任务的策略,并额外训练每一任务对应的潜在嵌入空间模型,旨在利用潜在嵌入空间模型来向策略提供一个与时间相关的随机性以实现策略的有效化和结构化。大量实验表明,LSE-MAML可以提供有效的探索策略,可以提高在类似现实要求的奖励稀疏复杂任务中的性能。