自80年代以来，非线性控制系统理论取得了突破性的进展，极大地推动了各种复杂非线性控制对象的应用与开发研究。但在很多实际应用的场合，特别是当系统中存在未知参数、不确定干扰、控制参数不满足匹配条件和模型误差时，这些方法并不能取得预期的控制效果，这使得非匹配不确定非线性系统的鲁棒控制问题成为近几年来控制界的一个研究热点。滑模控制由于算法简单、响应快速、抗干扰性能好，特别适于解决非线性不确定系统的鲁棒控制问题。但其抖振问题却可能造成系统硬件部分的损坏，甚至导致系统不稳定，因而大大限制了它在实际控制问题中的应用。本文提出了免疫滑模控制，通用高阶滑控制和改进动态滑模方法。相对于传统的滑模控制而言，这些方法都可以削弱滑动流形的抖振，从而提高系统的动态特性和控制性能；后者则可以削弱、甚至消除系统输入的抖振，使得滑模控制器更易于实现。同时，针对MIMO非线性系统解耦和控制的问题，提出了基于状态空间重构解耦等新思想，它主要是针对MIMO非线性系统存在的耦合项复杂，难于解耦等特点进行逐步的、系统的状态空间的设计。为一大类MIMO非线性系统提供了系统的解耦的设计框架。基于状态空间重构解耦在设计MIMO不确定系统(特别是当干扰和不确定性不满足匹配条件时)的鲁棒和自适应控制器方面已经显示出它的优越性。非完整移动机器人具有广泛的实际应用背景，近年来已引起国际学术界和工业界的高度重视。该类系统是典型的MIMO高度非线性的非完整力学系统，其运动控制问题非常困难。加之机器人动力学模型中存在的参数不确定性、驱动电机的参数不确定性；同时，由于外界环境和建模等原因，机器人系统也很容易受到外部扰动或未建模动态的影响，这些因素都使得移动机器人成为一类典型的MIMO非线性不确定系统。本文很多研究直接以非完整移动机器人的动力学模型作为应用对象，具有研究的一般性和代表性。本文作为国家自然科学基金资助项目“非对合系统的鲁棒控制及在非完整机器人系统中的应用”的研究内容之一，论述了建立包含驱动电机动力学的机器人动力学模型；论述了利用非线性微分几何方法实现非线性系统的动态反馈线性化；还论述了不确定性时系统的鲁棒线性化。然后对已线性化的子系统应用高阶滑模控制、动态滑模控制实现其轨迹跟踪。最后，针对非线性系统存在的参数不确定性、非匹配不确定性，结合滑模控制、反步法和Lyapunov稳定性理论来实现系统的鲁棒自适应输出跟踪。本文的主体可以分成几个大的部分：一部分是基于可测集重组的高阶滑模控制，基于免疫机理的滑模控制，和基于显式反步法的动态滑模控制的理论研究及其在移动机器人中的应用；另一部分是MIMO非线性系统的解耦和鲁棒控制器的设计；还有一部分是基于滑模控制与计算机仿真结合的虚拟实验室的设计及应用。