光子晶体光纤(Photonic Crystal Fiber)是一种由单一介质构成，并由波长量级的空气孔构成微结构包层的新型光纤。由于其自身的特殊结构，光子晶体光纤呈现出许多在传统光纤中难以实现的特性，例如：无尽单模特性、可控色散特性、高双折射特性等等。受到了广泛关注并成为近年来光学与电子学研究的一个热点。本文从光脉冲在光子晶体光纤传播时遵循的非线性薛定谔方程入手，研究了光子晶体光纤中的标量调制不稳定性以及矢量调制不稳定性，并作出了调制不稳定性的增益谱。结果表明，在光子晶体光纤中，三阶色散项对调制不稳定性不起作用；而由于四阶色散的影响，不仅在光纤的反常色散区，而且在光纤的正常色散区也可以产生调制不稳定性。通过计算我们发现，在调制不稳定性对应的增益谱中，增益曲线的极大值以及产生增益的范围都与输入频率和非线性系数的大小有关。