公平性是许多多智能体系统的关键,将公平性引入多智能体系统可以帮助多智能体系统变得高效和稳定。例如,在交通瓶颈中,需要将上游的通行量均匀地分配给下游,以照顾每个驾驶员的感受;在路由中,需要将链路带宽公平地分配给数据包,以实现负载的均衡。强化学习已经广泛地应用于多智能体系统领域。然而,大多数的工作都是基于功利主义公式或独特的共同奖励信号,与公平性没有直接的关系。也有少量的工作关注奖励公平分配的问题,但是,同时优化效率和公平是一个复杂的、多目标的、联合策略优化问题,随着环境中智能体数量的增多,智能体之间的交互更加复杂,效率和公平的冲突更加明显,会给学习过程带来更大的挑战。本文基于现有的多智能体强化学习算法,对多智能体系统公平性进行了研究,具体的研究内容包括以下两部分:（1）针对如何在复杂的环境下降低学习的困难度,本文提出了基于奖励塑造的公平的多智能体强化学习算法。用个性化的奖励很难衡量系统整体的性能,利用一个全局的广义基尼社会福利函数来判断每个智能体动作的好坏,通常会导致信用分配问题。通过奖励塑造设计合理的个性化的奖励,结合广义基尼社会福利函数,能够更好的指导智能体做出决策。本文引入了人工场的思想,将环境建模为电势场,将智能体受到的电场力作为额外的奖励。进一步的,本文还将具有变化权重的个体收益作为额外奖励,以指导智能体在效率低时更加关注个体收益。通过奖励塑造的方法,对智能体行为做出合理的个性化指导。在马太效应抽象出来的游戏场景中,验证了两种基于奖励塑造的公平的多智能体强化学习算法的有效性。（2）虽然基于奖励塑造的公平的多智能体强化学习算法能够降低学习的困难度、缓解公平和效率两个目标的冲突,然而,奖励塑造的方法通常需要专家经验,同时可能会改变最优策略,并且需要人工调参。为了解决以上问题,本文提出了基于课程学习的公平的多智能体强化学习算法。该方法提出了学习全局的公平和效率应该是阶段性的,第一阶段:智能体学会如何追求效率;第二阶段:提出了一个软公平阶段作为中间阶段;第三阶段:追求全局的公平和效率,通过三阶段的课程学习将困难的学习过程分解,使智能体学习全局公平的过程更加平滑。本文在多种复杂的多智能体环境中进行了实验,验证了基于课程学习的公平的多智能体强化学习算法能够降低学习的困难度。