过去的20多年间,光纤激光器实现了输出功率近乎指数级的增长,目前已经被广泛应用于工业、国防等诸多领域。伴随着功率的提升,非线性效应也愈发显著,成为制约光纤激光器功率进一步提升的主要因素之一。抑制非线性效应最有效的方法就是增大纤芯的直径。尽管增大纤芯直径提高了非线性效应发生的阈值,但同时又导致了纤芯支持模式的增加,在高功率运行下,有可能产生比较复杂的模式竞争、模式耦合,甚至是模式不稳定效应从而导致光束质量急剧恶化,严重制约了光纤激光器的发展。了解光纤的模式特性,如模式成分、模式功率占比等,将有助于更有针对性地研究抑制高阶模式的方法,进而指导光纤激光器的设计,进一步提升其输出功率。这就是目前光纤激光器研究领域正在兴起的模式分解技术研究,其已经成为光纤激光器不可或缺的模式诊断工具。本论文基于相空间光学理论提出了多种全新的模式分解方法,克服了现有方法的诸多不足,特别是大多数方法只适用于完全相干模场的不足。相空间光学具备许多几何光学、波动光学等光学理论所不具备的显著特点,十分适合开展模式分解工作。本文介绍的模式分解方法可以分为两大类:一类适用于完全相干模场,另一类适用于具有任意相干度的模场。针对完全相干模场,发展了尺度和旋转不变光学滤波器法和基于分数阶傅里叶变换系统的模式分解方法等两种方法;对于具有任意相干度的模场,提出了基于魏格纳分布函数的模式分解方法,并发展了两种四维魏格纳分布函数的测量方法。具体包括:将光学梅林变换应用于传统的匹配滤波器构成了尺度和旋转不变光学滤波器,克服了目前最为常用的模式分解方法之一-相关滤波器法要求构成相关滤波器的正交模式的尺度必须与输入的模场尺度完全匹配的不足。改进后的方法可用于具有任意尺度的光纤模场的模式分解工作,且无需正交模式的尺度与之精确匹配。该方法既保留了相关滤波器法可进行实时模式分解的显著优点,同时又降低了其实验实现的难度。通过数值模拟方法,验证了该模式分解方法的可行性。结果表明即使正交模式的尺度与输入光纤模场的尺度相差两倍,该方法仍能得到正确的模式分解结果。提出了基于分数阶傅里叶变换系统的模式分解方法,考虑到光纤模场有可能存在光涡旋,同时将光涡旋探测算法引入该模式分解方法。该方法只需测量包含光纤模场近场光强在内的5个分数阶傅里叶变换功率谱分布即可精确重构光纤模场,并且重构过程是一个确定性过程无需迭代,最后利用模式之间的正交完备关系完成模式分解。该方法具有实验实现简单,模式分解速度快等优点。通过数值模拟方法,在不同的信噪比下,验证了该方法的准确性和可靠性。结果表明即使信噪比较低,该方法仍能得到正确的模式分解结果。提出了基于光纤模场魏格纳分布函数的模式分解方法,该方法适用于具有任意相干度的光纤模场。针对目前尚无有效的四维魏格纳分布函数测量方法的不足,提出了基于编码孔径技术测量四维魏格纳分布函数的方法。基于魏格纳分布函数与互相干强度互为傅里叶变换对的事实,首先利用非冗余孔径阵列测量得到了互相干强度,然后通过傅里叶变换得到了四维魏格纳分布函数。其中非冗余孔径阵列的编码通过Singer sets实现。最后利用测量得到的魏格纳分布函数实现了对具有任意相干度的光纤光束的模式分解并利用数值模拟手段验证了该方法的准确性与可靠性。结果表明该方法可以准确地实现对具有任意相干度的光纤模场的模式分解。将二维宇称分类器引入魏格纳分布函数的测量,提出了一种基于二维宇称分类器的四维魏格纳分布函数的测量方法。该方法的创新之处在于:利用傅里叶变换的相移定理实现了光场在相空间中的平移,实现了在频率空间测量四维魏格纳分布函数,从而避免了现有方法在笛卡尔空间测量时,需利用机械装置实现模场相空间偏置的不足,大大降低了实验实现的难度,并提高了测量的准确性。同样地,利用数值模拟程序验证了上述方法的准确性与可靠性。结果表明对于具有任意相干度的光纤模场,该方法均可以实现高精度的四维魏格纳分布函数测量,从而输出准确的模式分解结果。该方法相比较于基于二维宇称分类器的测量方法,尽管实验实现略微复杂,但是其适用于信噪比较低条件下的四维魏格纳分布函数的测量,可以和基于编码孔径技术的测量方法互为补充。