随着社会信息化程度的深入，以IP业务为代表的数据业务爆炸增长，促使通信领域迅猛发展，通信新技术和新方案如雨后春笋般纷纷涌现出来，与此同时，存在的问题也逐渐暴露出来。新技术的应用虽然可以解决某一方面的问题，但是不可避免地会附带一些新的问题。如果这些问题得不到较好的解决，积累的结果就是系统性能的下降以及系统开销的增大，制约通信容量的大幅提升，难以满足人们对通信容量日益增长的需求。光纤通信较之于电缆通信，以其传输的大容量、远距离、强抗干扰能力等优点成为通信技术发展的趋势，在这个过程中，波分复用（WDM）技术应运而生。以往的光纤通信系统只能在一根光纤中传输一路信号，这样，要想增加系统容量就必须铺设更多的光缆，使成本显著上升，而波分复用技术可以实现在同一根光纤中同时传输多路信号，因而能实现通信容量成倍的增长，正因为这样，波分复用技术被认为是解决通信容量问题的有效方法。但是，正如前面所说，新技术的应用必然附带新的问题，包括群速度色散（GVD）、偏振模色散（PMD）、放大器噪声、瞬态效应以及信道串扰，为了不断增加系统容量，复用光波的波长间隔越来越小，使系统中的信道串扰特别是同频串扰问题越来越严重。本文就是针对系统中的信道串扰问题展开研究，重点讨论了波分复用系统中的同频串扰问题，并最终找到了一种解决方案，实现了同频串扰的有效抑制。主要工作如下：首先，对波分复用技术的发展过程进行了简单的介绍，分析了波分复用技术的优点，阐述了波分复用系统中信道串扰抑制方法的研究现状。其次，对波分复用系统的工作原理进行了分析，简单介绍了WDM系统的分类以及系统构成，然后对波分复用系统的系统容量进行了讨论，分析了影响波分复用系统传输容量与传输距离的几个因素，最后对波分复用系统的光源技术、光放大技术、光滤波技术三大关键技术进行了介绍与分析。然后，介绍了波分复用系统中信道串扰的分类；分析了波分复用系统中三种主要的非线性串扰产生的机制，并研究了其抑制方法；最后对波分复用系统中的线性串扰进行了理论分析，重点研究了其中的同频串扰，对同频串扰产生的原因进行了分析，论述了两种有效抑制波分复用系统中同频串扰的思想，一种是奈奎斯特波分复用，另一种是相干光波分复用，阐述了两者是如何实现抑制同频串扰的。最后，以奈奎斯特波分复用理论为基础研究了波分复用系统中的同频串扰抑制技术，以VPI仿真软件为实验平台，找到一种方法实现了波分复用系统中同频串扰的有效抑制。并把该实现方法应用到波分复用系统中进行了仿真，仿真结果显示了系统的同频串扰得到抑制，系统性能得到改善，验证了本文基于奈奎斯特波分复用的同频串扰抑制方法具有可行性和合理性。