从人工智能这一概念被首次提出至今,游戏博弈一直都是其最具技术和挑战性的主要研究领域和方向之一,博弈又可以划分为完全信息博弈和非完全信息博弈。完全信息博弈主要指在进行博弈时,信息都是完全可知的;非完全信息博弈的主要特征是智能体进行博弈时无法从局面信息中获得所有的信息。很多博弈都实际上是基于非完全的信息博弈模式来进行开发和对局的,例如带手牌的德州扑克等牌类,麻将,有战争迷雾的即时战略游戏等。真实世界的很多决策性问题也都是可以从其他方面抽象成一个非完全信息博弈问题,例如机场的规划、网络安全、金融资源等。而非完全信息游戏博弈相较于具体的实际问题而言具有更简单的模型,易于获得训练数据并进行算法训练等优点,因此,对非完全信息游戏博弈研究具有重要的现实意义。用于解决非完全信息博弈问题的传统研究方法主要包括部分可观测马尔科夫决策过程模型,反事实遗憾最小化以及强化学习等算法。然而,强化学习在一些信息不全面以及高维的状态空间下都无法很好收敛,仅通过有限量的数据和反复测试也无法做到遍历完整所有的状态。深度强化学习技术在强化学习基础上结合神经网络表达优势,解决了高维状态空间下的收敛性问题。著名的人工智能围棋AI:Alpha Go就是在围棋领域打败了顶尖人类专业选手,但是在面对非完全信息博弈问题时往往不能计算出最优策略。最近,收敛到非完全信息博弈中的近似纳什均衡的深度强化学习算法已经被开发出来。其中,以反事实遗憾最小化的神经形式表现最好。它的变体是在表格平衡发现算法中最先进的,并已被用于扑克领域的每个主要AI里程碑。美中不足的是这些基于遗憾的深度学习算法都依赖于具体的模型支持。本论文采用基于遗憾的反事实遗憾最小化算法和深度强化学习算法的无模型学习算法,通过引入蒙特卡洛结果抽样并对其进行基线调整和本地化随机抽样瞬时策略的改进使得新算法在无模型支持下超过了现有基准。本论文提出了基于优势基线的反事实遗憾最小化和深度强化学习改进算法,通过比较学习到的收益与基线网络采样得到的期望收益,判定对智能体的奖惩情况。传统方法要么对非完全信息博弈问题收敛困难,要么对问题相关的专业知识有所依赖,并不具备较好的可扩展性。本论文提出了不依赖构建模型用的专业知识的无模型学习方法,通过对样本学习训练基线网络作为评判智能体做法的奖惩依据,实现了很好的可扩展性。最后本论文将改进的反事实遗憾最小化与深度强化学习算法应用到非完全信息博弈的基准博弈中。在两人斗地主以及两人跑得快扑克博弈中得到了与有模型方法相当的性能表现。与传统的学习算法相比,在训练速度和依赖条件上都达到了更高的水平。改进的深度强化学习算法为其它无模型问题提供了一个可行的方法,同时为扩展到现实生活中提供了可能。