随着计算机技术的广泛应用，各类自动控制系统也变得更加复杂，系统的参数和结构发生随机跳变转换时常发生。诸如，零部件的损坏或维修、系统多个工作模式间的随机切换、非线性对象操作点的突变等。这些因素均会引起系统的结构发生突然剧烈变化。马尔科夫系统是随机系统中最常见且应用广泛的一类。这类系统可以用一族子系统来描述，这些子系统之间相互转化构成一个马尔科夫链。马尔科夫系统被广泛应用于各领域，如：经济模型、工业制造系统、电力系统、飞行器控制、通信技术、船舶导航、机器人技术、无线传感器网络，以及几年前刚兴起的多智能体系统。本文主要考虑与马尔科夫系统相关的两类问题：一类是不确定时滞马尔科夫系统的鲁棒H∞控制问题；一类是带有马尔科夫跳变参数多智能体系统的一致性问题。　　 对于不确定时滞马尔科夫系统的鲁棒H∞控制，本文主要考虑两类系统：一类是带有模式依赖分布式时滞的系统；一类是单纯的时变时滞系统。首先研究带有模式依赖分布式时滞不确定马尔科夫系统的鲁棒H∞滤波和鲁棒H∞输出反馈控制问题。然后，考虑时变时滞不确定马尔科夫系统的鲁棒H∞模型降阶问题。本文在这方面的主要贡献有三个方面：一、为带有模式依赖分布式时滞不确定马尔科夫系统设计滤波器使得滤波误差系统鲁棒随机稳定并满足给定的H∞性能指标；二、为带有模式依赖分布式时滞不确定马尔科夫系统设计输出反馈控制器使得闭环系统鲁棒随机稳定并满足给定的H∞性能指标；三、为高阶的时变时滞不确定马尔科夫系统寻找一个低阶系统，低阶系统须与原系统有类似的性质，且两个系统之间的误差小于给定的H∞性能指标。给出了一个算法用来求解低阶系统的模型参数。　　 对于带有马尔科夫参数的多智能体系统，本文主要考虑两类系统：一类是系统的拓扑结构是马尔科夫随机切换的；另一类是系统中各节点之间的通信概率组成一个有限的马尔科夫链。对于第一类系统，本文首先考虑一阶系统的跟踪控制问题或叫领导-随从一致性问题；其次考虑二阶连续系统的一致性问题。对于前者本文主要贡献是设计一个控制算法，使得当所有切换拓扑的并含有有限生成树时，随从与领导之间的跟踪误差非常小，并给出了误差上界。对于后者本文主要贡献是给出线性矩阵不等式和Data采样两种方法来判别多智能体系统能否达到一致性。线性矩阵不等式方法是通过验证一组线性矩阵不等式是否有解来判定多智能体系统能否达到一致性。Data采样方法则是将连续系统离散化，从而分析所得到的离散系统。本文证明如果所有切换拓扑的并含有生成树，且采样周期和控制增益满足一定的条件，则多智能体系统能够达到一致性。对于第二类系统，本文主要考虑带有通信成本约束时的一致性问题。本文在这方面的主要贡献是定义通信成本函数，使用凸优化方法解决最小通信成本问题，使得系统在达到一致性时，通信成本尽可能的小。