调制不稳定性是普遍存在于非线性系统中的一种现象.孤子的产生和调制不稳定性之间有着密切的联系,后者通常被认为是孤子产生的前兆,因此关于光束传播稳定性的探讨对研究孤子具有很好的指导意义.本文主要在理论上研究了相干和非相干光束在线性和非线性介质中以及非傍轴光束在非线性自聚焦克尔介质中传播时产生的调制不稳定性.具体内容包括以下两个方面:一、傍轴近似下光束调制不稳定性理论的一般描述:(1)相干和非相干光束在线性介质中传播时不会产生调制不稳定现象;(2)相干光束在非线性自聚焦介质中传播时,整个系统对微扰的变化呈现不稳定性,沿传播方向以指数形式增长,会产生调制不稳定现象;(3)非相干光束在非线性自聚焦介质中传播时,调制不稳定性受非线性自聚焦和光束非相干效应的共同制约,存在一个阀值.只有当非线性自聚焦效应大于光束的非相干效应时才会产生调制不稳定性.二、非傍轴光束在非线性自聚焦克尔类电介质中传播时的调制不稳定性.将非傍轴效应等效为四阶空间色散、五阶非线性效应和自陡峭效应加以处理.利用线性稳定法研究非傍轴光束在非线性克尔介质中的传播稳定性.理论分析和数值模拟均表明:入射功率p0和非傍轴参量a决定非傍轴光束调制非稳增益谱呈现出三种不同的分布规律,并给出相应判据以区分三种不同分布.