随着信息高速公路的飞速发展,光孤子通信凭借其极高的速率、超大的容量、超长的距离及无畸变传输的优点,成为热门的现代通信技术之一。本文以非均匀光纤系统为基础,首先以变系数的高阶耦合非线性薛定谔方程作为光脉冲传输的理论模型,详细研究了三种函数形式的矢量组合孤波的传输特性；并且,在此种理论模型下,分析了M型矢量组合孤波的传输特性；此外,还得到了含有五阶非线性克尔效应的高阶非线性薛定谔方程(HNLS)的组合孤波解析解,并讨论了该组合孤波的传输特性。我们的研究成果为非均匀光纤系统中组合孤波的研究提供了一定的理论依据。本文的研究包含以下内容：(1)简述了光纤通信的发展；详细分析了光纤中影响光脉冲传输稳定性的几个重要因素,并介绍了非均匀双折射光纤中矢量孤波的研究现状。(2)以高阶的变系数耦合非线性薛定谔方程(CNLS)为非均匀双折射光纤系统中光脉冲传输的理论模型,采用分布傅立叶变换法(FFT),数值模拟了三种函数形式的组合孤波在该理论模型中的传输特性及相邻孤波间的相互作用,并讨论了在加入有限的噪声干扰、功率微扰和相位微扰的情况下三种组合孤波的传输稳定性。(3)在上述理论模型的基础上,详细研究了M型矢量组合孤波在非均匀双折射光纤系统中的传输特性,并讨论了在加入有限微扰的情况下M型矢量组合孤波的抗干扰性。(4)在非均匀光纤系统中,采用拟解法,在一定参数条件下,获得了含有五阶非线性克尔效应的高阶非线性薛定谔方程的组合孤波解析解,并对其传输特性进行了详细的研究。我们的理论计算与数值模拟结果表明：此组合孤波能够以两种不同的传输波形无畸变传输,并具有良好的抗干扰性。