强化学习是机器学习中解决序列化决策问题的算法的统称。相较于在给定的数据下进行预测的监督学习,强化学习通过主动的与环境交互,在不断的试错中提升算法的性能。由于人类世界的大部分问题都可以被视为序列化决策问题,因此强化学习被视为目前最可能实现“通用人工智能”的的路径之一。近些年来,强化学习,尤其是与深度学习结合的深度强化学习,已经在多个领域取得了傲人的进展,包括大量虚拟世界的应用,例如围棋,Dota,星际争霸和一些真实世界中的应用,例如推荐系统,任务调度和机器人控制。但是,目前强化学习方法中的一些问题限制了其进一步在更广泛的真实世界场景中的应用。真实世界与虚拟环境存在很大的不同:真实世界的系统是随机且不断变化的;在真实世界中执行动作需要满足严格的安全约束,例如在自动驾驶中,一旦前方发现行人,车辆必须作出停车的行为;在真实世界中而与环境交互昂贵而缓慢,例如一个机械臂的成本可能就要几十万元,且它在物理世界的执行速度比一个物理引擎的模拟速度要慢得多。虽然通过构建模拟器,可以部分将一个真实世界的学习任务转移为一个虚拟环境中的学习任务,但是构造一个高保真的模拟器具有很高的成本,况且无论如何提升模拟器的保真度,模拟器与真实环境的偏差仍然会存在。而解决这些挑战的关键之一,就是提升策略对环境和任务的鲁棒性。本文基于迁移学习和元学习的最新进展,具体分析了不同场景下如何有效提升策略的鲁棒性。本文的前两部分研究了当存在一个与真实环境存在差异的模拟器,以及少量真实环境的样本时,如何使得策略能够鲁棒的部署到真实环境。通过显式的建模模拟器和环境的差异,本文分析了当差异主要存在于转移函数和观测模型时,分别应该采取何种措施。当差异主要存在于转移函数时,我们采用了基于观测的对抗生成式模仿学习和自适应的多步逆运动力学模型。通过在模拟器训练一个状态分布与专家数据一致的策略生成局部的目标状态,并将当前状态与这一目标状态输入在真实环境样本上训练的多步逆运动力学模型。当差异主要存在于观测模型时,我们利用MDP固有的序列性质,将领域适应问题建模为一个变分推断问题,同时利用对抗生成网络处理难以计算的KL散度。我们还为长轨迹的RNN网络设计了独特的残差结构增强了其训练稳定性。针对环境非稳态性和任务的多样性,我们利用并拓展了基于环境上下文的零样本元学习算法,提升了策略对任务的鲁棒性。通过对以往工作上下文特征提取器的改进,本文将上下文特征的学习与策略的学习取得了更好的结合。使得学出的上下文特征能够更好的捕捉不同任务和环境之间的关联和差异。另一方面,同过在特征学习时引入时序的约束,本文使得当环境的参数发生变动时,上下文特征提取器和策略均可以很快的适应。