非线性控制理论及应用研究一直是控制界研究的热点与难点课题，多年来已经取得了大量的研究成果。然而总的来说，非线性系统理论分析与设计还处于起步阶段，仍有大量需要解决的问题。本文在已有文献的基础上，用微分几何理论和泛函微分方法作为主要数学工具，对非线性系统理论与应用进行相应的研究。 球杆系统是目前大学控制实验室里常见的实验设备，它是一类典型的非线性被控过程。在控制领域中，不稳定的非线性系统的建模和控制器设计有许多需要克服的难点问题，有必要首先在实验室中做研究。但是绝大多数的不稳定系统都是非常危险的，因此这成为实验室研究的主要障碍。而球杆系统具有结构简单，非线性动态特性明显，且控制方法的优劣都能很好在球杆系统上的体现出来，因此，它常用来检验控制策略的效果，是控制理论研究中较为理想的试验手段。 本文对球杆系统的研究主要是分两部分：球杆系统建模和非线性的反馈线性化控制。在球杆系统建模时，我们利用拉格朗日方程建立球杆系统的动力学方程，并在平衡点小范围内线性化后用状态反馈方法设计控制器，使球杆系统稳定在平衡点，但是当小球的位置和球杆的角度逐渐变大时，系统将难以稳定，故引入反馈线性化理论来弥补这种不足。 本文将基于非线性系统的近似反馈线性化理论来实现对球杆的稳定性控制。非线性反馈线性化理论是针对模型精确已知的非线性系统，运用输入状态或输入输出反馈，实现全局线性化处理；然后借用线性系统理论知识进行系统分析与设计。此外，论文还分别从经典的PID控制理论、线性二次型的最优控制以及观测器理论着手，对系统的分析设计进行了比较，通过仿真结果可以看到，基于反馈线性化后的球杆系统在使用最优控制方法后能获得比较满意的控制效果。 最后，本文还针对球杆控制系统的物理实现方法进行了探讨。