目前,深度强化学习已经在机器人控制、游戏等领域取得了大量的研究成果。然而,在如何有效的促进深度强化学习的学习效率方面,仍存在一定的局限性与挑战,在多智能体领域这一问题随着智能体数量的增加以及环境动态的高复杂性变得更加严重。具体表现在三个方面:第一,当前深度强化学习算法存在采样低效性问题,使得在复杂和大规模问题上从头学习非常困难;第二,多智能体系统中存在维度灾难问题,由于探索空间随着智能体数量的增加呈指数级增长,较单智能体问题学习难度更高,采样效率更为低下;最后,智能体的行为受到环境中其他共存智能体行为的影响,在其他智能体的行为高度复杂变化时,现有算法难以准确预测和判别,很难做出最佳响应。针对上述挑战,本文提出基于迁移学习的高效深度多智能体强化学习算法研究,从单智能体策略迁移,多智能体策略迁移以及多智能体高效策略响应三个方向展开,论文的主要工作内容如下:首先,针对单智能体深度强化学习采样低效性的问题,本文提出了基于策略迁移的高效深度强化学习框架,提升了强化学习算法的性能。进一步,考虑到现有方法在迁移粒度上的局限性,本文在策略迁移框架的基础上,提出了基于选项的策略迁移算法,有效地识别先验知识中部分有效的信息,提升了策略迁移的能力。最后,针对现有方法在权衡迁移与在线学习上的局限性,提出了自适应迁移权重调整机制,实现了先验知识以及现有经验之间的权重分配,有效地避免了负迁移。本研究显著地提升了既有算法的学习效率与最终表现,在多个平台上验证了本研究有效地利用策略迁移极大地促进了高效的深度强化学习。其次,本文研究如何利用策略迁移解决合作式多智能体强化学习的样本效率低下和协作程度低下的问题,提出了面向多智能体的策略迁移框架,实现高效的深度多智能体强化学习。针对多智能体之间的策略迁移问题,提出了基于联合选项的多智能体策略迁移算法,有效地实现智能体之间的知识共享,提升了整体的学习效率。进一步,针对部分可观察条件下的样本冲突问题,提出了后继表征选项的学习算法,通过将环境动态与环境奖赏解耦,提升了值函数估计的准确性,实现了在每个智能体的偏好下,为智能体选择合适的策略进行知识迁移,极大地提升了多智能体算法的性能,为促进多智能体高效协作和探索提供了一定的研究基础。最后,本文考虑了面向高复杂性多智能体环境下的策略响应问题,针对多智能体环境的非平稳性问题以及既有算法使用单一策略难以应对高复杂性对手的局限性,提出了基于贝叶斯策略重用和层次递归推理的Bayes-To Mo P算法,有效应对高复杂性对手的行为变化。本文提出使用层次递归推理的对手模型来建模对手的复杂行为变化,从奖励信号和对手模型双重角度实现准确的对手行为预判。此外,Bayes-To Mo P实时预测对手是否使用未知策略,并提出了在线学习算法来学习应对策略,以应对未知对手的行为。综上,本研究实现了准确的高复杂性对手行为预判以及高效的策略响应,对于应对多智能体环境下复杂对手的多智能体策略响应问题具有一定的指导意义。综上,本文以基于迁移学习的高效深度多智能体强化学习为研究目标,从单智能体环境下的策略迁移,协作环境下的多智能体策略迁移以及协作竞争混合环境下的策略响应三个方向展开研究,深入探讨了单智能体深度强化学习算法采样低效性的问题、多智能体深度强化学习面对采样低效性和维度灾难的问题,以及面向高复杂性多智能体环境下的策略响应问题,并通过实验论证了本文研究成果的有效性。本研究兼顾工程实践与科学研究,对使用深度强化学习算法解决实际问题起到了一定的指导作用。同时,为多智能体的策略响应、多智能体协作以及扩展到大规模多智能体系统的应用等领域提供了一定的参考价值。