作为人工智能领域下的分支,机器博弈是检验其发展水平的重要研究方向,一直以来受到了众多研究者的关注。然而,传统的机器博弈方法只能解决解决状态空间小且复杂程度低的问题,如国际象棋和西洋双陆棋。近年来,得益于深度学习的发展,以深度强化学习算法为代表的机器博弈方法得到了长足的发展,并在具有高维状态空间、复杂程度高的游戏上取得了一系列里程碑式的研究成果,例如击败顶尖围棋选手的Alpha Go、战胜Dota职业战队的Open AIFive等。然而,深度强化学习算法在解决机器博弈问题时仍面临着不少的挑战。其中博弈环境的探索难度直接影响着学习的效率,因此当面对困难探索博弈环境时,深度强化学习的学习效率会受到巨大影响,具体表现在收敛困难、样本复杂度高、过拟合等。本文以机器博弈为研究对象,针对上述深度强化学习中存在的问题展开了研究,主要工作和创新点如下:（1）针对困难探索博弈环境中稀疏奖励、延迟奖励和欺骗奖励的特点,导致深度强化学习收敛困难、样本复杂度高问题,本文在对困难探索博弈环境进行分析的基础上,提出了一种基于对手策略课程的深度强化学习方法（简称OSCDRL）。通过引入课程学习的方式,该方法对困难探索博弈环境从对手策略和环境构造两个角度来进行拆解,由此生成一系列由易到难的机器博弈任务给深度强化学习智能体逐个训练,使得智能体可以首先解决探索难度低、奖励反馈易获得的机器博弈任务,最后来解决困难探索博弈环境下的任务。在足球和炸弹人等机器博弈平台上进行实验测试并与奖励塑形、动作剪枝和经验回放等方法对比,从收敛速度、测试表现和课程任务顺序三个角度验证了该算法的有效性和合理性。（2）针对困难探索博弈环境下深度强化学习过拟合的特点,导致OSCDRL算法出现灾难性遗忘问题,本文在此基础上引入了持续学习的方法,提出了基于持续课程学习的深度强化学习方法（CCLDRL）。该方法设计双重记忆系统来将智能体的记忆拆分为用于短期记忆和长期记忆,分别用于保存当前任务下的知识和累积以往任务中的知识,使得学习过程互不干涉。同时,该方法利用贝叶斯在线学习方法和策略蒸馏的方式来实现知识的迁移和累积,保证旧任务中的知识不会被遗忘。为了更好的缓解遗忘问题,采用了块对角克罗内克积分解的方式来获得后验分布中海塞矩阵更加准确的近似。同时,考虑到课程中各个机器博弈任务的相似性,引入了位置信息编码来实现对不同任务间的区分。此外,该方法不仅能解决灾难性遗忘问题,同时在整体性能以及鲁棒性方面均优于OSCDRL方法。最后在2D迷宫导航任务、足球和炸弹人等机器博弈平台上实验验证了算法的有效性。