深度学习与强化学习的结合使得深度强化学习成为当前走向通用人工智能的重要途径。强化学习算法在智能体与环境的交互过程中,以目标为导向进行学习,强烈地依赖于作为策略输入所观察到的环境状态,并且其应用很大程度上依赖于奖励信号如何高效地解决问题以及如何评估解决问题的进度。在复杂对抗场景中,智能体直接获得对环境的高维感知作为状态输入,并在与环境的交互中学习行为控制策略,这是强化学习在应用中需要面临的一个长期的挑战。在强化学习的过程中,智能体对探索和开发的权衡也仍旧是一个开放性的问题。本文以这些问题和挑战为出发点,设计并实现了创新性的强化学习算法,主要的研究工作如下:（1）针对复杂对抗场景下因为智能体状态观察的复杂和奖励稀疏甚至缺失的问题,本文用马尔可夫决策过程对智能体的任务过程进行建模,设计和实现了基于注意力机制和基于奖励塑形的深度强化学习算法框架,提出了一种融合角色信息的注意力机制和奖励塑形信号的学习方法。（2）针对复杂对抗场景下复杂的状态引起智能体训练效率低效果差的问题,本文提出了基于角色的注意力机制模块。设计并实现了基于角色注意力机制的深度强化学习算法,主要用卷积神经网络并引入任务相关信息来生成软注意力图,使得智能体在观察到复杂的环境后将注意力集中在观察到的信息的重要特征和与任务相关的信息上,学习效率和水平更高效。（3）针对复杂对抗场景下奖励稀疏带来的智能体探索效率低,表现效果差等问题,本文提出了奖励塑形机制。设计并实现了基于奖励塑形机制的深度强化学习算法,通过构造内部奖励模型指导智能体学习行为控制策略,使得智能体在奖励稀疏的复杂对抗场景下,有效地探索环境并利用已经探索的经验完成任务。（4）最后本文将设计并实现的算法在实时策略足球游戏的对抗场景中进行了实验和评估。算法在足球游戏的对抗场景中表现比对照组的强化学习算法和相关技术有明显的提升,并且提高了智能体探索的效率,使得智能体在任务当中更加有效的完成任务获得更高奖励。