高功率掺镱光纤激光器具有光束质量优良、转换效率高以及易维护等优点,广泛应用于工业和军事等领域。随着输出功率的不断增加,受激拉曼散射（SRS）效应和横向模式不稳定（TMI）效应成为单模光纤激光器功率提升的主要障碍。采用大模场单模运转光纤是解决SRS和TMI效应的根本途径,也是实现更高功率近单模激光输出的关键所在。因此本文重点研究大模场掺镱光纤,旨在通过光纤轴向结构与径向结构的设计,最大程度地抑制SRS与TMI效应。本文首先介绍了以改进的化学气相沉积法（MCVD）和拉丝技术制备掺镱光纤,并描述了掺镱光纤的基本参数及其测试方法,为光纤的初步设计和制备提供依据。对高功率光纤激光器中的SRS和TMI效应开展了理论研究。首先阐述了SRS的形成机理,推导了光纤放大器中SRS的理论模型,基于理论模型研究了光纤参数和激光器参数对SRS阈值的影响。然后阐述了TMI的形成机理,推导了光纤放大器中TMI的理论模型,仿真分析了光纤参数和激光器参数对TMI阈值的影响。结果表明,SRS与TMI效应的抑制方法在常规光纤中很大程度上难以同时兼顾。开展了光纤的轴向结构设计研究。首先基于传统渐变包层锥形光纤的结构,提出了恒定包层锥形光纤,并通过理论模型研究渐变包层锥形光纤、恒定包层锥形光纤和均匀光纤中的SRS和TMI效应。仿真结果表明,在近似的对比条件下,两类锥形光纤相对于均匀光纤对SRS都有抑制作用,且恒定包层锥形光纤的抑制作用更显著。关于TMI效应的抑制,在大多数情况下,两锥形光纤的TMI阈值优于均匀光纤。接下来制备了这两类锥形光纤,并基于高功率光纤激光系统对它们进行表征。对于渐变包层锥形光纤,将锥形光纤与低数值孔径（NA）、部分掺杂设计相结合,成功制备了纤芯NA～0.05、Yb3+离子掺杂直径比例为77%的25/400-37.5/600-25/400纺锤形光纤,基于此光纤实现了输出功率为4.1 kW的高光束质量激光输出。对于恒定包层锥形光纤,首先制备了31.2/400-52.5/400锥形光纤,基于该光纤进行了不同信号传输方向的实验比较,结果表明,当信号光从大端向小端进行传输时,其输出光束质量优化效果非常明显。然后制备了24/400-31/400锥形光纤,并基于该光纤实现2.7k W的激光输出。最后,通过实验对比了具有相同等效纤芯直径的20/400-30/600渐变包层锥形光纤和20/500-30/500恒定包层锥形光纤在大弯曲盘绕条件下的激光性能,结果表明渐变包层锥形光纤具有较高的TMI阈值,但对恒定包层锥形光纤进一步优化仍有望实现更大的功率输出。为了进一步抑制SRS和TMI效应,对光纤的径向结构设计展开了研究。M型折射率剖面设计是同时抑制SRS和TMI效应最简单且有效的手段,利用有限元法探究了M型光纤的结构特性,然后制备了符合理论设计的25/400 M型掺镱光纤。搭建了高功率光纤放大器测试该M型光纤,并将其与普通商用30/400光纤进行了比较。结果显示M型光纤具有更高的TMI阈值,并实现了功率为2285 W的激光输出,该结果是目前基于M型光纤达到的最高输出功率。