本文以UPFC为研究对象，应用先进控制理论，深入探讨其动态模型建立、运行机理和控制系统设计等一系列重要课题，主要取得了以下成果： (1)介绍了两种非线性系统的控制器设计原理并给出了它们关于最优性和鲁棒性的证明：一是SDM反馈设计原理，其主要思路是通过引入状态、动态和测量环节对原系统进行动态扩张，进而利用增广系统的线性子系统进行控制器设计。在零动态渐近稳定的前提下，本文给出了由SD反馈设计法构造的控制律是原系统的动态延拓系统在某一类性能指标下的最优控制律的严格数学证明；二是鲁棒H∞设计原理，该方法基于微分几何控制理论，首先将带有不确定性的非线性系统转换成线性系统，然后基于线性H∞理论设计线性鲁棒H∞控制律，最后根据坐标变换和状态反馈，反演出原始非线性系统的鲁棒H∞控制律；本文进一步利用微分对策理论，严格证明了所提出的鲁棒H∞设计方法针对原非线性系统具有鲁棒性。 (2)建立了装有UPFC的输电系统模型，并利用SDM反馈设计法设计了UPFC组合稳定控制器，即首先建立UPFC的动态方程，进一步提出一类接口算法，将装有UPFC的电力系统DAE模型转换为ODE模型。在此基础上，利用SDM反馈设计法及参变量控制系统理论，构造UPFC组合稳定控制器。四机系统和四川系统的仿真分析表明该组合控制器可有效提高系统的暂态稳定性。 (3)提出了UPFC分层控制结构，并分别构造了内、外层控制器。其中内层控制器设计基于鲁棒H∞设计原理，该控制器能够快速跟踪外层控制的输出信号；而外层控制器设计则基于控制Lyapunov函数方法，从而为内层控制器提供参考信号。六机系统和四川系统的仿真结果表明分层控制器能有效提高系统的暂态稳定性。通过对基于VSC结构的其它FACTS设备的控制器设计方法的研究和讨论表明该分层结构控制器的设计方法具有一般性。