近年来,微纳波导中光学特性的研究吸引了越来越多的研究者的注意。而表面等离子体(SPP)在波导中的突出性能:可以突破光的衍射极限将其限制在微纳尺度范围,并能实现对光场的增强限制,以此可提高非线性相互作用。另外,据调研,目前的SPP波导局限在平板波导。基于此,研究设计线性波导并其在通信波段的光学特性是很有必要的。本文的主要内容就是基于表面等离子体的光纤波导中模式特性及其色散调制的研究。在基础理论部分,首先简要回顾了光在波导中传输时存在的几种色散形式:材料色散、波导色散、模式色散。接着介绍了非线性效应中四波混频的基本原理。在现有理论基础上,通过对非简并四波混频效应耦合模差分方程的推到,分析出了实现高效的波长转换的几个关键因素。首先要通过合理的设计波导结构实现进行波长转换的对应模式间的相位匹配;另一方面要利用具有高的非线性极化张量的介质作为非线性相互作用的媒介;最后,要获得高的非线性系数,还要通过设计波导结构,获得小的模场面积积分值。根据以上分析,对本文提出的金属-介质-金属波导结构做了相应调整,分别在微米和纳米尺度进行了模拟分析。据相关文献调研,表面等离子激子可有效的提高波导结构对光场的限制能力,使非线性效应得到增强。文中主要提出并研究了两种金属包层的光纤波导结构:一种为金属包层的微光纤;另一种为金属-介质-金属光纤波导。对于第一种波导模型,文中详细分析了不同金属包层厚度对波导中光场分布,有效模式指数及传输损耗等相关特性的影响。在此基础上,通过对波导中模式色散特性的调制分析,利用模间相位匹配技术,在微光纤半径1μm附近实现基频光与其三次谐波光对应模式的相位匹配,且相位匹配点附近,两模式的有效折射指数曲线非常靠近,有利于实际应用中非线性效应的实现。对于金属-介质-金属这一波导结构,分别在微米、纳米尺度范围内对其中存在的光波模式、传输特性、色散特性及光场的限制能力做了研究。微米尺度上,通过改变不同的结构参数实现了对零色散点的调制。纳米尺度上,波导实现了对光场突破衍射极限的强的场强限制。利用不同波长的光在同一模式上的相位匹配技术,分析了其在四波混频效应中的表现性能。