光纤激光器作为新一代的特种光源，同其它块体激光器相比，具有结构简单、光束质量好、散热好以及高效率等显著优点，已成为激光领域内科学研究和实际应用关注的热点，尤其是高功率的光纤激光器，因其在国防、医疗、工业生产等领域内的广泛应用，更是引起了人们的广泛关注。因此，进一步提高光纤激光器的输出功率，并保证其高的光束质量，是当下急需解决的问题。采用大模场光纤可以增加纤芯的损伤阈值以及降低光纤表面的温度，是提高输出功率的普遍方法，但是大模场光纤的使用必然会导致纤芯中出现多模传输，从而使输出光束质量降低。因此，开展大模场光纤激光器中高阶模抑制的研究是十分必要的。本文中主要从下面三个方面对大模场掺Yb³⁺光纤激光器中模式选择进行理论和实验研究：（1）从麦克斯韦方程组出发，引入了大模场光纤中传导模LPmn模的模式组成及模式特征方程的计算方法。模拟分析了光纤中模式数量、各模式的模场分布情况以及光纤的有效模场面积。基于掺Yb³⁺光纤激光器的结构与模式耦合理论，建立了多横模竞争耦合的速率方程与功率传输方程组。（2）引入环带划分法，对大模场掺Yb³⁺双包层光纤激光器功率传输方程进行简化处理，解决了复杂的二维积分运算。模拟得到了各模式功率填充因子在纤芯截面上的分布规律。研究了“增益”和“损耗”抑制高阶模的方法，数值模拟分析光纤弯曲、纤芯中离子掺杂方式以及掺杂浓度分布对增益介质光纤中模式竞争的影响。首次提出了弯曲-掺杂离子分布相结合的方法抑制高阶模，结果表明两者方法结合时能够更加有效的抑制高阶模，同时最大限度的减小弯曲带来的模场畸变。（3）基于建立的理论模型，数值模拟了10/125μm和25/250μm两种掺Yb³⁺光纤激光器中输出激光特性随弯曲半径的变化。同时搭建了对应两种光纤的光纤激光器以及相应的高阶模抑制测试系统。实验中测试发现，随着弯曲半径的减小，基模激光所占的功率比例有所增加，从而提高了输出激光的光束质量。但是，实验结果与理论结果有所误差，对所产生误差的原因进行了分析。