调制不稳定性是非线性科学中的一个基本物理现象。在光学领域，空间光调制不稳定性是一种与空间光孤子类似的光传播行为，是与折射率密切相关的非线性光学现象。在调制不稳定性过程中出现的纤细光丝实际上就是近乎理想的孤子束，可以说是孤子形成的前身。调制不稳定性作为复杂的非线性行为的触发机制，引导了许多非线性科学领域走向复兴。　　在非局域非线性介质中，某一点的非线性响应不仅与该点的光场有关，还与其附近的光场有关。非局域响应函数R(r)的表达式取决于实际物理材料或光学系统的具体物理机制。从2013年开始，我们课题组开始关注振荡型非局域非线性的物理系统。这类非线性光学系统中的响应函数R(r)是一个振荡函数，它在某些区域是正值，在另外的区域是负值，正负周期变化。当输入光强增加时，一部分区域折射率增加，另一部分区域的折射率减小，所以我们不能简单地用非线性折射率系数n2的符号来确定自聚焦和自散焦。　　本论文介绍的负性液晶系统就具有振荡型的响应函数。我们发现，尽管负性液晶系统的非线性折射率系数n2＜0，在强非局域的情况下它仍然表现出了自聚焦的特性。我们不仅在负性向列相液晶中观察到了空间亮孤子，而且还看到了空间调制不稳定性现象。调制不稳定性的出现可以更好好地解释负性液晶系统中存在稳定的亮孤子，还可以解释相同介质中暗孤子的不稳定性。我们在理论和实验两个方面对负性向列相液晶系统中的调制不稳定性展开了研究。此外，我们在实验中观察了垂直锚定的负性液晶系统中的威廉斯畴，它是由于电流体动力不稳定性所产生的。　　本论文分为五章:第一章，介绍液晶中的物理特性和液晶中的非线性研究背景。第二章，介绍基于液晶分子重取向理论的非局域非线性模型。我们求解得到了简化模型下的非局域非线性响应函数，它具有振荡的形式。经过分析我们发现负性液晶系统和正性液晶系统的响应函数在源点处具有相似的渐进行为，尽管它们的非线性折射率系数n2具有不同的符号。振荡型的响应函数在频谱域存在奇异性，在奇异点kc处（kc=1/wm，wm是非局域响应宽度）调制不稳定性增益系数的值趋于无穷大。这个奇异点频率kc的值与输入光的强度无关。第三章，介绍负性向列相液晶中的光孤子和调制不稳定性实验。实验结果显示，在负性向列相液晶中不仅存在亮孤子，还有反常的的调制不稳定性。我们在0.18W/cm2的极低光强下观察到了明显的调制不稳定性现象，且在光强增加超过3个量级的情况下，观察到的调制不稳定性最大增益频率基本不变。第四章:介绍向列相液晶中基于电流体动力不稳定性的威廉斯畴，并且在试验中观察了这种威廉斯畴，将威廉斯畴和调制不稳定性产生的增益条纹进行了区分。第五章:总结本论文的研究成果，分析本论文的不足之处，展望后续的研究。