公约形成,是多智能体系统（MAS）中普遍存在的一种通过去中心化方式而形成一致性行为的过程,是一种通过智能体自主决策达到MAS协调的有效方式。MAS的协调有助于减少各种资源和时间的冲突,并促进智能体之间的互利共赢。形成的一致性行为也称为公约,其通过离散的方式对智能体的预期行为进行约束,极大的促进了智能体之间的协调,实现智能体自身以及MAS的利益最大化。因此在MAS中,研究如何快速有效的形成公约是一直存在的热点话题。近些年,随着MAS对抽象个体建模的快速发展,MAS普遍应用于现实各种场景,包括通信、计算和社交网络等,对MAS有关公约形成研究也越来越多,并取得了大量显著的成果。本文回顾了公约形成研究领域目前的成果,通过对当前已有前沿研究成果的总结,将公约形成过程中,智能体如何自主决策分为三类:（1）基于spreading机制决策;（2）基于当前博弈收益直接决策;（3）基于行为价值函数决策。本文针对目前最先进的机制提出了创新和改进,同时提出了本文的研究内容。主要研究思路为:1)提出智能体的多局部信息表的学习模型来改进了传统收集学习（Collective learning）模型,该模型能够更好利用邻居的局部信息,加速了智能体学习,克服了传统小世界网络公约形成的局限性,提升了公约形成的效率,提出的模型称为多局部信息表（Multiple-Local information table,Multiple-L）学习。2)引入乐观更新的思想来改进现有基于Q-value最先进策略之一的多Q学习（Multiple-Q value Learning,MQ）,改进后的策略包含价值函数双更新模块,模块中价值函数具有两种更新方式,不仅能够克服MQ策略形成公约不稳定的局限,还能大幅度的提高公约形成速度,本文将改进后的策略称为乐观多Q学习（Optimistic Multiple-Q value Learning,OMQL）。3)最后在前人研究成果的基础上,根据独立R学习（IndependentReward Learning,IR）策略和多R学习（Multiple-R Learning,MR）策略提出了本文基于收益（Reward）的第三个融合改进策略,称为独立或局部学习（Independent or Multiple Reward Learning,IMRL）策略,该策略包含收益双估计和价值函数双更新模块,分别对收益和价值函数进行重新计算,IMRL策略打破了已有IR策略和MR策略单一学习方式的局限,极大的加速了公约形成。对于上述提出的每种改进的模型和策略,都是基于智能体的强化学习。本文进行了大量的对比实验,实验结果表明:在不同网络拓扑结构、不同可选行为空间大小、不同网络大小下的三类对比实验中,形成公约的效率和有效性上都更优于以往的模型和策略。特别地,Multiple-L模型相较于传统的Collective learning模型在各种网络拓扑结构中公约形成效率成倍提升,而且在几种现有的网络生成图中,Multiple-L也能快速的形成公约;在与MQ策略进行的各类对比实验中,OMQL策略在公约形成的效率上至少有20%的提升,并且实验证明了比MQ策略更具稳定性;IMRL策略相对于单一的IR策略和MR策略,在不同对比实验下均有不同的优势,大部分情况下公约形成效率比IR、MR提升了15%左右。通过分析实验结果也不难看出,本文提出的模型和策略更具鲁棒性,在各种对比实验中,公约形成性能评估上有很大的优势。