人工智能技术的发展日新月异,机器博弈作为其中的热门研究领域受到了研究者的广泛关注。近年来,以深度强化学习算法为代表的机器博弈方法得到了长足的发展。一方面,Alpha Go等围棋智能体的成功标志着深度强化学习算法在完备信息机器博弈领域已取得了重大突破。另一方面,非完备信息机器博弈因其复杂度高、信息感知不完全等特点,已成为人工智能领域新的研究焦点。本文主要研究非完备信息条件下三维视频游戏的策略求解问题。针对视频游戏博弈中高维状态空间与信息感知不完全的问题,提出了一种基于内在奖励策略优化算法的深度强化学习方法。在该方法中,首先利用限制行动策略比值更新幅度的手段缓解了运用传统算法时产生的高方差、不稳定问题。其次,针对三维场景中较为常见的缺乏环境反馈奖励值的问题,本文提出了内在奖励模型,通过设计目标映射网络与预测网络产生内在奖励值弥补环境反馈奖励值的缺失,辅助智能体进行策略更新。最后,考虑到内在奖励模型与传统策略优化算法的结构性差异,通过调整价值网络的结构对两者进行融合,进而提出内在奖励策略优化算法,提升了智能体在稀疏奖励三维场景中的行动效果。从增强智能体对环境奖励信息的感知能力和对强化学习状态信息的估计准确度的角度出发,本文依据多任务学习中的辅助任务学习机制,提出和设计了三种类型的辅助学习任务。通过使用经验回放技术,采样智能体的交互数据用于辅助任务的训练,实现了深度强化学习与辅助任务学习的有效结合。在此基础上将辅助任务学习机制与内在奖励策略优化算法结合,进一步提升了原始强化学习算法训练出的智能体在三维场景中的性能。本文以三维视频游戏Vizdoom作为深度强化学习算法的测试平台,通过相关实验分析验证所提出算法的有效性。