调制不稳定性(modulational instability MI)是非线性物理系统中普遍存在的一种不稳定性，它会对各种非线性物理过程产生影响。孤子是与调制不稳定性联系密切的重要非线性物理现象，许多研究表明调制不稳定性是亮孤子产生的前导，而暗孤子只能存在于没有调制不稳定性的非线性系统中。1997年斯耐德(Snyder)和米切尔(Mitchell)在《Science》杂志上发表的题为《Accessible Solitons》的文章引起了人们对非线性效应空间非局域性的关注，并且揭开了系统研究非局域空间光孤子的序幕。向列相液晶是一种具有强非局域克尔非线性效应的材料，根据介电各向异性的特性不同可分为正性向列相液晶和负性向列相液晶，前者的1+1维模型响应函数为e指数衰减型而后者的为正弦振荡型。光孤子与克尔效应关系密切，最新的研究发现1+1维负液晶模型中存在稳定传输的亮空间光孤子，虽然暗空间孤子解也在此模型中被找到，但不能保持稳定地传输。因此，本文选择讨论正弦振荡型响应克尔介质中的调制不稳定性以解释负性向列相液晶模型中亮空间孤子的稳定性和暗空间孤子的不稳定性。此外本文还运用四波混频理论讨论了调制不稳定性的物理机制，并得出了调制不稳定性发生的充要条件。　　全文共分为四章，主要内容如下:　　第一章，首先介绍调制不稳定性和光孤子的研究概况，然后讲解了克尔效应的空间非局域性，最后详细介绍了正性和负性向列相液晶的非线性机理和相应实验的液晶盒模型。　　第二章，在非局域非线性薛定谔方程的框架下讨论正弦振荡型响应克尔介质中的调制不稳定性，求得了调制不稳定性的增益谱。与其它响应函数模型下的结果进行比较，发现了正弦振荡型响应模型中调制不稳定性的两个特殊性质:1、在克尔系数为正和为负的情况下调制不稳定性均可发生。2、调制不稳定性的最大增益点所对应的空间波数由响应函数的振荡周期决定。　　第三章，在四波混频(four-wave mixing FWM)的理论框架下引入相位失配量△k和非线性增益因子γ讨论克尔介质中调制不稳定性的物理机制，得到调制不稳定性产生的充要条件是相位失配量足够小以满足|△k|＜2|γ|。并且基于这一结果，统一地解释了已知的局域和非局域克尔介质中的MI研究结果。　　第四章，总结和展望，指出本论文的研究意义及不足之处。