随着深度机器学习与人工智能的迅猛发展,强化学习作为最接近“强人工智能”范畴的机器学习方法已成为近年来的热门研究方向。强化学习采用无监督的方式进行“试错”学习,智能体基于自身经验学习最优策略,无需预先标注好的样本或大量的先验知识,对于解决动态场景下的复杂问题优势明显,应用潜力十分巨大。目前,对于强化学习的研究主要集中于深度强化学习以及多智能体深度强化学习两个方面。对于深度强化学习,已有越来越多不同种类的算法以及相关优化技术被提出,其中部分方法已经可以被成熟地应用于实际场景,解决实际问题,例如游戏对战、电子对抗、无人机控制等领域。对于多智能体深度强化学习,近年来已有多种方法被提出可以很好地解决多智能体环境下智能体协作或竞争关系、信息共享以及奖励分配等问题,对于民用和军用都具有极高的研究价值和研究意义。软“演员-评论家”算法（Soft Actor Critic,SAC）是近年来较为新颖且性能较优的AC框架下的深度强化学习算法,在一系列连续性动作环境中表现出了最优性能,但其中也存在一些问题。首先,与其他深度强化学习算法类似,SAC算法中也存在Q值高估偏差问题,且原算法对于Q值高估偏差的解决方案会使得智能体出现过度悲观估计,存在缺陷;其次,对于稀疏奖励环境,SAC算法的探索性仍然不足,算法性能较差;然后,已有的经验回放策略无法在稀疏奖励环境中充分地利用探索性较强的经验条目以加快智能体的学习速度,存在缺陷;最后,对于如何在多智能体稀疏奖励环境中提升算法性能,现有的研究仍不充分。本文针对上述四方面的问题,分别基于SAC算法提出三点改进,并将改进后的单智能体算法拓展到多智能体稀疏奖励环境中。本文主要研究内容涉及如下几方面:（1）本文提出了基于不确定性正则项校正的SAC算法——URC-SAC算法。算法中引入基于智能体认知不确定性的惩罚项、平均Q值估计以及最大化Q值估计,在控制Q值高估偏差的同时避免智能体的过度悲观估计,提升算法性能。（2）本文将RND机制与URC-SAC算法加以结合。同时,提出一种基于RND机制改进的优先级经验回放策略,与URC-SAC算法加以结合。分别从探索性和利用性两个方面提升智能体在稀疏奖励环境下的性能。（3）本文将上述结合了RND好奇心机制以及改进的经验回放策略的URCSAC算法拓展到多智能体环境,提出MA URC-SAC算法,在多智能体稀疏奖励环境中提升算法性能。（4）本文分别基于Open AI gym下的Mu Jo Co、Classical Control以及Multiagent-particle-envs环境从不同指标对比算法性能,证明本文提出的改进方法可以较好地解决上述三方面问题,取得较好效果。