强化学习在现实世界中拥有广阔的应用场景,但强化学习的训练过程需要与环境交互收集数据来更新决策策略,这限制了强化学习在一些对安全性十分敏感的场合的应用。而离线强化学习可以通过数据集来训练出高效的决策策略,训练阶段无需与环境产生交互,因此近些年来离线强化学习受到了研究者们的广泛关注。然而,现有的关于离线强化学习的研究却忽略了离线强化学习决策的安全性。在不与环境交互的情况下,从包含不安全决策的数据集中学习出安全且高性能的强化学习策略依旧是一项重大挑战。为了提升离线强化学习算法在不安全数据上学习到的策略的安全性,本文提出了一种基于条件生成式对抗网络的安全批约束学习（Safe cGan-based Batch-Constrained Q-Learning,SGBCQ）算法。在批约束学习中,扰动模型被用于对动作施加扰动使得输出动作在给定状态下的条件分布接近与数据集中的状态动作条件分布。在本文,我们使用安全评论家（Safety Critics）模型来建模策略输出动作失败的概率,训练批约束训练框架中的扰动模型对动作施加扰动去降低动作的失败概率并提升决策的安全性。同时训练一个判别器网络来约束批约束训练框架中的扰动模型,使得扰动模型的扰动值不会带来额外的分布漂移问题。实验结果表明相比于不考虑安全性的强化学习算法,SGBCQ可以使用很小的性能损失带来决策安全性上的显著提升。在奖励稀疏的现实应用场景下,一般的强化学习算法往往难以训练出有效的策略。而分层强化学习算法被证明是一种可以在稀疏奖励任务下有效收敛的强化学习训练框架,为了在稀疏奖励场景下训练出高性能的离线强化学习智能体,本文提出了一种离线的分层强化学习训练框架。具体的,数据集通过预处理来满足高级策略与低级策略训练的需要,在分别训练高级策略与低级策略之后,再通过测试找到高级与低级策略的最佳参数组合作为最终策略。实验结果表明,这种基于分层策略的离线强化学习训练框架可以学习出高性能的强化学习决策策略。考虑到现实场景下的数据通常只包含少量的不安全决策数据,且收集额外的不安全决策数据的成本过高,我们提出了一种可以高效利用数据中的不安全决策信息的分层安全离线强化学习（Hierarchical Safe Offline Reinforcement Learning,HSORL）训练框架。HSORL使用基于子目标引导的分层强化学习框架来提高对数据中的不安全信息的利用效率,具体来说,高级策略为低级策略制定安全且高奖励的子目标,低级策略采取动作来达到给定的子目标。在训练基于奖励的状态动作值函数的同时训练基于代价的状态动作值函数,并使用自适应的权重对两个估计的值函数进行加权,使用最终的加权值来引导策略做出高效且安全的决策。实验结果表明,HSORL可以学习出安全且高性能的离线强化学习策略。我们还通过消融实验展示了 HSORL中各个子模块的作用。综上,本文提出的SGBCQ可以在离线设置下利用数据中决策的安全信息,在决策的性能与安全性之间做出有效的折中。HSORL算法可以高效的利用包含稀疏不安全决策行为的数据集,来学习出高性能且安全的离线强化学习策略。