稀土掺杂光纤激光器输出功率不断增长,在连续波和脉冲系统中均达到了平均千瓦级水平。横模不稳定（TMI）效应是限制大功率光纤激光器近衍射极限功率提升的一个重要原因,而光纤激光器系统的平均输出功率也受到其他多种影响的限制,如受激拉曼散射（Stimulated Raman Scattering,SRS）、受激布里渊散射（Stimulated Brillouin Scattering,SBS）等。本论文针对2μm波段掺铥光纤激光器（Thulium-Doped Fiber Laser,TDFL）中的TMI阈值及其影响因素开展了研究,可为高功率TDFL的实验探究及其功率的进一步提升提供有效的参考。主要研究内容包括:（1）针对影响大功率光纤激光器功率提升的两种主要非线性效应进行了理论与仿真研究,阐述并分析了SBS和SRS的特性和阈值。仿真发现SBS阈值随纤芯直径和信号带宽逐渐增大,SRS阈值也随纤芯直径逐渐增大。此外,仿真对比发现SBS较SRS具有更低阈值,对光纤激光器功率提升的影响更为显著。（2）经过对丹麦科技大学Hansen等人的理论模型的迁移和简化之后,从光纤热传导方程、速率方程和波动方程出发,理论分析了TMI半解析数值模型的建立与求解过程,得到了量子噪声诱发和相对强度噪声诱发的两种TMI阈值的表示形式。使用此三维速率方程模型来研究TDFL中的横模不稳定阈值,提升了准确性和计算速度。（3）针对2μm波段大功率掺铥光纤激光器,利用半解析理论模型结合MATLAB软件进行仿真,得到了2μm波段大功率掺铥光纤激光器的非线性耦合系数x（?）,并分析了纤芯半径、光纤冷却液对流系数对x（?）的影响。另一方面,研究了纤芯半径、泵浦波长、工作波长、相对强度噪声因素对2μm波段TDFL中横模不稳定阈值的影响,并与1μm波段掺镱光纤激光器进行对比分析,发现TDFL具有更高阈值。仿真结果表明,掺铥光纤激光器中的TMI阈值分别与纤芯半径、信号波长呈负相关关系,而与泵浦波长呈正相关。降低纤芯半径,使信号波长向短波长漂移或使泵浦波长向长波长漂移在理论上均可使TMI阈值得到进一步提升。此外,降低相对强度噪声也可使TMI阈值得到一定提升,二者关系曲线近似呈对数关系。（4）实验搭建了一种MOPA结构的大功率掺铥光纤激光器。系统使用线性腔单纵模TDFL作为种子源,其输出功率为80m W,经三级放大得到了11.7W激光输出,系统斜率效率为23%。