在现有通信流量不断加大,光纤传输容量需求越来越大的发展背景下,为了解决单模光纤即将达到容量极限的问题,人们提出了少模光纤的模式复用技术。但少模光纤模式的复杂性也引起了更小的非线性容限,因此在新一代长途少模光纤的传输系统中,非线性效应也将成为限制信息容量的最终因素,研究少模光纤中的非线性抑制方法是刻不容缓的。本文系统地讨论了少模光纤中的自相位调制和交叉相位调制等非线性现象,重点对目前国内外少模光纤非线性研究热点“模间四波混频”进行了研究。分别从理论和数值模拟两个方面研究了少模光纤中模间四波混频对目前先进调制方式光信号的影响和模间四波混频的抑制方法。首先,从光纤非线性原理出发研究,分别探讨了少模光纤中存在两个,三个或四个空间模式时的模间四波混频机理,总结出一个支持光纤多种模式扩展的模间四波混频非线性研究模型。其次,在此基础上,分别导出了存在两个,三个,四个空间模式时的少模非线性薛定谔方程,得出了少模光纤中形成模间四波混频的模式和波长位置的各种组合以及它们的相位匹配条件。然后,通过数值模拟,分析了波长,模式配置,差模群时延,色度色散和随机模式耦合对模间四波混频效率的影响。最后,根据理论分析和数值模拟结果,提出了一种针对少模光纤传输系统非线性的抑制方法并进行了数值模拟。结果表明,该抑制方法在目前常用的QPSK调制方式下将少模传输系统的模间四波混频抑制了20dB,而在16QAM调制方式下则抑制模间四波混频6d B,效果明显。该抑制方法中的波长配置等参数是根据商用通信参数设定的,对今后光网络建设由一定的参考意义。