近年来,深度强化学习技术在围棋、麻将、星际争霸等复杂游戏任务上取得了成功应用。进一步地,研究者开始探索运用强化学习算法来解决更为复杂的决策问题,如机器人控制、交通信号控制、电力调度等。然而,由于现实任务更具多样性和复杂性,基于单一智能体建模的强化学习方法往往面临着难以求解最优策略的问题。一种有效的解决方案是将整个决策控制器抽象为具有不同功能的实体,从而将原始问题转换为多智能体系统问题。但在转换为多智能体的过程中,现有方法往往忽略了系统内实体间的共性,导致其需要为每个智能体分别训练策略。因此,本文引入模块化强化学习作为新的学习方式,从而将整个决策控制器抽象为多个具有相同功能的模块,同时借助表征信息的不同来体现不同实体的差异性。得益于各个模块间的高度相似性,仅需训练一种策略即可实现整个智能体系统的调度,其训练过程也更为高效稳定。针对复杂系统中智能体的模块化强化学习这一任务设计相关算法,本文的主要工作及贡献如下:·本文针对复杂环境下的决策问题提出了一种基于注意力机制的模块化强化学习方法。该方法将复杂环境中的智能体抽象为具有相同功能的模块,并用基于注意力机制的嵌入方法来实现不同模块间的信息差异化表征。实验证明,在基于MuJoCo修改而来的复杂机器人控制环境中,该方法的性能超越了现有的多任务强化学习算法和模块化强化学习算法。·本文提出了一种基于注意力机制的模块化强化学习信息处理方法。该方法能够将模块间相对关系嵌到注意力网络中,并从智能体的输入信息中提取出不同模块间的相互注意力关系。之后基于注意力计算出模块间交互信息的权重,再对信息进行加权和后续传递。实验证明该方法在信息传递效率以及表征上要优于基于图的信息传递机制。·本文提出了一种基于模块化强化学习在Q值（即动作价值）改进的算法。通过引入随机权重分配机制,能够更好评估模块的Q值,保证稳定且高效的训练。该方法也同样适用于目前所有主流的Actor-Critic强化学习算法。通过在MuJoCo与DM-control等机器人控制任务中的实验证明该方法在性能上超越了以往的集成学习方法,并且能够有效提升相应强化学习算法的性能与稳定性。