掺镱光纤激光器具有高转换效率，高光束质量，高散热性能和结构紧凑等优点，在军事防御，材料加工，智能制造和医疗等领域具备极其广阔的应用前景和巨大的应用价值。但近年来发现的模式不稳定效应严重影响了掺镱光纤激光器输出功率的进一步提升和高功率输出下高光束质量的保持，严重阻碍了大功率掺镱光纤激光器的发展和应用范围扩展。本论文主要针对大功率光纤激光系统的模式不稳定效应展开研究，特别是从掺镱光纤本身的角度，对光纤振荡器和光纤放大器的模式不稳定抑制方法进行了深入研究。
　　首先，本论文从掺镱光纤出发，阐述了镱离子的能级结构，发光特性以及镱离子适于作为高功率光纤激光系统增益介质的原因。结合本课题组的实际实验条件和技术，主要通过改进的化学气相沉积工艺和溶液掺杂技术制备光纤预制棒，最终拉丝成光纤。随后对光纤振荡器和光纤放大器在不同的泵浦方式下进行了模拟计算，认为双端泵浦结构下增益分布更为平缓，有利于模式不稳定效应的抑制。
　　其次，根据自行设计拉制的掺镱光纤，搭建了大功率掺镱光纤振荡器。分析讨论了模式不稳定效应的几种判定标准，结合实验条件和实验结果，认为观察到光纤激光器发生时频域信号突变时，即判定光纤激光器发生了模式不稳定效应，发生突变前的输出功率即为模式不稳定阈值功率。实验结果表明，双端泵浦光纤振荡器模式不稳定阈值为~2.03kW，而单端正向泵浦结构模式不稳定阈值为~1.17kW，较单端正向泵浦结构高出~73%，与之前的模拟结果趋势一致。
　　再次，研究了几种掺镱光纤振荡器的模式不稳定内禀抑制手段。第一，通过降低掺镱光纤的数值孔径，模式不稳定阈值从~1.14kW提升至大于~1.3kW，提升~14%，并认为更低的数值孔径主要会降低高阶模增益和增加高阶模弯曲损耗，从而抑制模式不稳定效应。第二，通过对掺镱光纤载氘实现模式不稳定的抑制，载氘0天，14天和28天的掺镱光纤，其模式不稳定阈值分别为~459W，~533W和~622W，提升分别为~16%和~35%，并认为载氘主要是通过强化光纤内的电致折射率光栅来抑制模式不稳定效应。认为在掺镱光纤数值孔径优化和掺镱光纤载氘两个实验中模式不稳定阈值差一个数量级的原因是光纤中是否有铈元素共掺，实验结果表明光纤掺铈不仅可以提升模式不稳定阈值，还可以提升光纤激光器长时间运转的功率稳定性，并认为掺铈能显著提升模式不稳定阈值功率的主要原因是掺铈能有效抑制光子暗化效应。
　　最后，为进一步研究光子暗化和模式不稳定效应之间的联系，同时也为模拟光纤放大器在极端环境下的运行，研究了伽马射线辐致暗化和长时运转光致暗化对光纤放大器模式不稳定的影响。伽马辐照导致的光子暗化对光纤放大器的模式不稳定阈值产生巨大的负面影响主要是因为伽马辐照暗化也会在光纤中产生非桥氧空穴中心，并且在泵浦漂白的恢复过程中，模式不稳定阈值和时间的关系也近似服从拉伸指数函数。实验也研究了长时拷机产生的暗化对光纤放大器模式不稳定阈值的影响，在300分钟拷机后，尽管光光效率没有明显下降，但模式不稳定阈值下降了~20%，红光透射率也出现了明显下降。对掺镱进行光纤载氘处理，不但使模式不稳定阈值上升~21%，且拷机300分钟后既未观察到明显的模式不稳定阈值下降，也未观察到红光透射率的明显变化，认为载氘主要是通过强化光纤内的电致折射率光栅和氘气能和空穴相关的色心发生反应从而降低相关的色心数量从而提升光纤放大器的模式不稳定阈值和功率稳定性。