移动互联网,云计算和物联网的突破性发展正在敦促全球研究人员寻找新型的复用技术来应对通信容量的瓶颈问题。由此研究人员引入了空间这一维度,其中基于少模光纤的模分复用技术是目前提升传输容量的较为有效的技术手段之一。而将模分复用技术与成熟的波分复用技术相结合形成的模分-波分混合复用光通信系统将会更大程度地提升通信容量,为进一步扩展光通信系统的信道容量指明了前进方向。在这种先进的模分-波分混合复用系统中的最关键的器件之一就是多波长宽带模式转换器件。基于以上研究背景本文主要进行了以下的研究:1.详细阐述了耦合模理论。基于微扰法推导了耦合模方程,给出了包含模式耦合,自耦合和对接耦合在内的耦合模方程的精确解,给出了模式选择耦合器中三类耦合系数的具体计算方法。2.提出了一种基于空气芯环形少模光纤的矢量模式选择耦合器。该矢量模式选择耦合器可以在较宽的波长范围内将基模高效地转换为二阶矢量模式。对矢量模式的耦合特性进行了详细分析,研究了波长及纤芯间距对矢量模式耦合的影响。最后,对矢量模式选择耦合器的带宽及串扰问题进行了讨论并给出了抑制串扰的方案。3.在矢量模式选择耦合器的基础上,提出了基于马赫-增德尔干涉仪的模式选择梳状滤波器。这种模式选择梳状滤波器可以同时实现模式转换和梳状滤波功能,在整个C波段内,对于基模和高阶模式都表现出了良好的梳状滤波效果,并且二阶矢量模式的转换效率均高于66%,特别是在1540nm至1560nm的波长范围内,二阶矢量模式的转换效率均高于95%。对模式选择梳状滤波器的原理和特性进行了系统的研究,利用琼斯矩阵推导了模式选择梳状滤波器的传输谱,详细分析了模式选择梳状滤波器的模式转换特性和梳状滤波特性,自由谱范围及其影响因素。最后对模式选择滤波器的带宽特性及串扰问题进行了分析和讨论。本文提出的矢量模式选择耦合器和模式选择梳状滤波器在先进光纤激光器,模分复用系统,以及模式-波长复合复用系统等领域中都有着十分重要的应用价值。