强化学习长期以来的一个目标是创造一个能够在具有挑战性的领域,以超越人类的精通程度学习的算法。博弈论是人工智能中最优化策略的代表性算法,许多的人工智能研究者将博弈论应用到在各种棋类游戏中。Alpha Go使用博弈论的一般原理,通过强化学习的方式在围棋领域取得了成功,使得强化学习在当今机器学习的最热门领域中有着一席之地。五子棋是具有典型策略性的传统黑白棋种之一,棋局复杂多变,具有较大的分支因素。因此,想在计算资源有限的短时间内找出一种必胜的策略显然是件非常困难的事情。本文针对五子棋游戏局面分支因素较大和棋局复杂多变等情况,研究了基于蒙特卡洛树搜索与深度神经网络的五子棋算法,使用蒙特卡洛树搜索对五子棋对弈进行模拟,完全由自对弈强化学习训练。在此基础上,提出了基于改进的蒙特卡洛树搜索与深度神经网络的五子棋算法,在保持模型性能的同时,提高了模型的训练速度。本文的主要工作如下:（1）针对五子棋棋局中每一层搜索节点过于庞大的问题,本文使用蒙特卡洛树搜索模拟五子棋博弈的结果。蒙特卡洛树搜索将根据五子棋当前游戏状态选择出最优的下一步落子。当蒙特卡洛树受限于计算力或时间搜索终止,下一步行动将基于收集到的统计数据进行决策,不需要穷举所有的组合,就能找到最优或者次优的五子棋落子方案。（2）针对随着网络层数的加深以及参数的增多,传统卷积神经网络存在的梯度爆炸、梯度消失和网络性能退化等问题,本文使用由多个残差块组成的五子棋策略估值深度神经网络评估五子棋棋局的落子位置和样本移动。残差结构形成了跨层连接,使得网络稳定更易于训练。使用具有残差结构的策略估值深度神经网络指导蒙特卡洛树搜索,提高了树搜索的强度,使落子质量更高,自对弈迭代更强。（3）针对某些不需要较长搜索时间就可以找到最佳落子的五子棋棋盘状态,本文提出蒙特卡洛树搜索的不确定性的定义,在找到稳定的最佳落子动作后终止搜索。本文使用三种深度神经网络预测蒙特卡洛树搜索的不确定性,通过改进的蒙特卡洛树搜索与深度神经网络相结合,将五子棋算法模型训练智能体的速度提高,同时保持相似的胜率。最后,本文对提出的改进前后的蒙特卡洛树搜索与深度神经网络的五子棋算法分别进行了实验验证与性能评估,通过评价指标Elo等级分的比较,从实验结果上证明了本文模型的效果。