电力市场化后，电力系统的运行点将比以往更加接近稳定极限，降低了系统的安全水平，这促使电力工业界对于系统稳定性进行深入的研究并开发出更加有效的控制措施。本文以非线性动力学为背景，提出了电力系统可行域边界的计算方法，并讨论了某些参数对其边界分岔的影响；基于流形横截原理提出了一种计算电压崩溃点的新方法；在优化控制方面的研究中，提出了一种恢复系统满足各种稳定约束条件下平衡点的协调控制策略；为了抑制系统在多种运行方式下由于缺乏足够阻尼而引起的低频振荡，提出了一种交直流互联系统中多附加阻尼控制器的参数协调优化方法；并在模糊控制的基础上引入强化学习算法发展出了一种新的直流附加控制器。 在可行域追踪方面，本文首先引入双参数构造系统的扩展方程求解鞍结分岔曲线，并寻找该分岔曲线和霍普夫分岔曲线的交点，以该点为初始值，采用扩展方程可以直接求解双参数下的霍普夫分岔曲线，进而得到系统在双参数下的分岔边界。该方法克服了传统直接法对初值要求比较严格的缺点。 基于电力系统非线性电路模型和流形横截理论提出了一种追踪电力系统随系统参数变化下的静态运行点的计算方法。在I-U空间中，母线电压和注入电流的线性和非线性关系分别由网络方程和注入支路方程所决定，所以追踪注入支路方程解流形在I-U空间中与网络方程解流形的非横截相交，即可精确求解鞍结分岔点。 在优化控制方面，首先针对系统可能在一系列预想故障下失去满足稳定约束条件的平衡点问题，提出了一种恢复潮流可行解的优化控制策略。该策略包括调整发电机出力和切除负荷等措施，采用恢复潮流解和恢复可行解的两步法，以最小控制代价为目标，把恢复系统平衡点至潮流可行域的控制问题转化为一类非线性规划问题求解。 其次，为了有效地抑制交直流互联系统中运行平衡点附近出现的低频振荡，提出了基于家族优生学的优化算法，对交直流互联电网中的阻尼控制器参数进行协调优化。该方法将正交设计技术引入家庭子代培植过程中，以加强个体行为改善，避免早熟，加快了进化后期的收敛速度，提高了计算效率。本文还将强化学习算法引入到直流附加阻尼控制器的设计中。控制器主体采用模糊神经网络，与传统的模糊控制器相比，由于该控制器采用白适应启发式评价算法，将系统输出性能指标转化为强化信号反馈给控制器，使其能够在线修改控制器参数，因此有效地克服了模糊控制器在设计中对精确训练样本的依赖，并且对多种运行方式具有一定的鲁棒性。