近年来,随着无人艇技术和群体智能的快速发展,无人艇集群技术受到了广泛的关注。多艘无人艇构成的编队装备能提高执行效率、完成复杂任务,在环境保护、海洋搜救、海关缉私、军事行动等领域具有广泛的应用前景。无人艇协同编队控制的研究难点在于:动力学模型具有非线性、强耦合、欠驱动等特性;运行环境存在风浪流的干扰。本文针对无人艇编队中的研究难点,研究了多智能体系统协同控制理论、无人艇编队控制理论和无人艇编队控制实验。通过理论与实验相结合的方法,深入研究了多无人艇集群系统,并取得了如下的研究结果:针对无人艇复杂的动力学模型,提出了基于压缩感知的无人艇模型辨识方法。将无人艇机理模型中所有可能存在的非线性项构成一个字典矩阵,并构建系数的零范数指标以实现系数不为零个数的最小化,达到剔除模型中微小作用的非线性项,保留关键非线性项的目的。最后通过实验得到了无人艇结构精简拟合度高的非线性耦合操纵模型。研究了多智能体系统无约束和有约束情况下的协同预测控制问题。基于CuckerSmale模型设计了多智能体系统协同预测控制算法,并利用迭代算法得到了控制律的解析解,通过利用完全平方多项式的方法,证明了当系统的邻接图存在一个联合生成树时收敛到严格群集。最后通过数值仿真验证了控制算法的有效性。研究了多无人艇分布式围捕编队和对称围捕编队控制问题。首先提出了包含顶层编队控制和底层运动控制的无人艇双层控制框架,其后分别设计了分布式围捕编队控制器和对称围捕控制器以及目标状态观测器,提出了基于输出调节的无人艇运动控制算法,并证明了闭环系统的稳定性。最后基于室内和湖测无人艇集群系统平台设计了围捕编队实验,实现了多艘无人艇从随机的初始状态到追击、拦截、围捕目标物的整个过程,从而验证了围捕编队控制策略的有效性。研究了多无人艇不规则航道扫描链状编队控制问题。针对不规则航道环境提出了二维B样条路径规划方法,设计了基于非线性模型预测控制的轨迹跟踪控制器,以及分布式目标轨迹状态观测器,实现了跟随者对领导者目标轨迹的实时估计,达到了当通讯拓扑为无向连通链状结构时多无人艇形成扫描链状编队的目的。最后基于湖测无人艇集群系统平台实现了不规则航道下多无人艇扫描链状编队实验,且无人艇间的间隔在不规则航道中可自适应调整,保持了队形的相对稳定,从而验证了扫描编队控制器的有效性。分别搭建了室内无人艇集群平台和湖测无人艇集群系统平台。首先通过研制小型模型艇,搭建室内定位系统和工作站,实现了室内无人艇集群平台的搭建。其后基于HUSTER-12s无人艇平台,研制了艇载主控制器,搭建了可用于编队实验的艇载硬件系统和软件系统。同时设计了多功能上位机软件,搭建了具有通讯、规划、操纵功能的岸基系统,集成岸基系统和多艘无人艇,完成了湖测无人艇集群平台的搭建。最后,基于湖测无人艇集群系统平台实现了东江水域的水面污染物清理实验,验证了平台的可靠性。最后对无人艇编队的理论方法和应用情况进行了总结与归纳,并对无人艇编队将来的发展方向进行了一定的展望。