强化学习被广泛应用于解决序列决策任务。然而,强化学习算法的样本利用效率较低,并需要很长时间来学习合适的策略,特别是当多个智能体在没有先验知识的情况下开始学习。该问题可以通过在学习过程中重用来自其他智能体的知识来缓解。一个值得注意的方法是基于动作建议的师生框架。在该框架中,一个经验更丰富的智能体(老师)通过建议在某些状态下应该采取的行动来帮助加速另一个智能体(学生)的学习。对于协作的多智能体强化学习,智能体需要学习最优联合策略而非个人的最优策略。在此场景下,由于所有的智能体的策略在收敛之前仍处于不断变化之中,学生即使遵从有经验的老师的建议也可能与其他智能体合作失败。当智能体之间交流的次数是有限的(如存在交流成本),基于动作建议的师生框架可能不是最佳方案。强化学习算法通过估计每个状态和动作下的累计收益(即Q值)来学习最优策略。该策略指向收益最大的那些动作。在当前状态下,如果学生能基于老师所学习到的Q值选择下一步动作,那么他可以不用花时间在该状态下学习如何最大化Q值。因此,本文为有限交流下的协作式多智能体提出了一种参与者-分享者建议框架(PSAF),其中多个去中心化的Q学习者在整个学习过程中通过分享一定数量的Q值来加速学习。为了模拟通信成本,每个智能体询问和请求Q值的次数是有限的,因此智能体需要选择适当的时候分享Q值。基于Q值分享的建议框架要求建议双方具有相似甚至相同的价值函数。相比较起来,动作建议仅要求学生和老师对被建议的状态和动作有共同理解,而不限制智能体的策略表示,这在实际应用中更具有弹性。此外,传统的师生框架主要解决何时何地建议动作以及建议哪个动作的问题,忽略了如何有效利用老师的建议的问题。基于这两个观察,我们又提出了通过重用建议学习的方法,其中学生在每个时间步下可以决定是否重新使用老师先前建议的动作或在原有的师生框架中学习。我们在三种经典的多智能体任务猎人-猎物游戏、半场进攻和分布游戏中测试了基于Q值分享的建议框架PSAF。对于通过重用动作学习的方法,除了猎人-猎物游戏和半场进攻这两个复杂的多智能体环境,我们还测试了单智能体游戏马里奥。所有的实验结果表明,相比较传统的基于(非重用)动作建议的师生框架,分享Q值和重用建议均能显著加速智能体的学习。此外,我们所提出的方法PSAF能显著的减少预算消耗。