目前,随着光纤激光器功率的攀升,传统小芯径光纤纤芯内的光功率密度不断增加,带来严重的非线性效应。同时简单地增加纤芯面积会引起光束质量和模式不稳定阈值下降等一系列的问题。降低纤芯中光功率密度,进一步提高运转功率的主要技术方案是使用新型大模场单模运转光纤。但现有的新型光纤,一方面由于难以弯曲、制备工艺难度过高等原因,尚未得到大规模生产与应用。另一方面,更大的模场面积与更高的运转功率也带来了更严重的光热效应。例如,2010年发现并很快被归结为纤芯内热负载所引起的模式不稳定现象,已经成为光纤激光器单模输出功率进一步提升的主要障碍。本论文的研究内容主要包括适用于仿真大模场单模运转光纤的数值工具的研究,新的大模场单模运转方案的提出,以及此类光纤中光热效应的理论仿真。首先,本论文从掺镱光纤出发,介绍了镱离子的能级结构、发光特性和适合作为高功率激光介质的主要原因,给出了掺镱光纤中的速率方程和主要热源。对本文中主要使用的数值仿真工具,有限差分光束传播法进行了研究,推导和验证能够同时处理扭转和线性双折射的有限差分光束传播法,并结合虚距离传播法和相关函数法,对直波导以及具有螺旋对称结构波导的本征模进行了求解。对大模场光纤高效率单模运转所要求的基模和高阶模损耗标准进行了数值仿真,表明反向泵浦相对于正向泵浦,在高效率运转方面更具优势。之后,提出使用扭转多边形纤芯光纤,实现大模场单模运转效果。该光纤的单模机理为扭转多边形结构带来的纤芯中高阶模-泄露模耦合以及角向非对称结构引起的高阶模的扭转损耗。仿真结果表明,在对正十边形结构进行细微调整之后,扭转的非正十边形光纤能够在纤芯直径35μm,弯曲直径50 cm时,实现基模损耗0.2 d B/m,高阶模损耗大于20 d B/m的单模运转,以及在直波导下的,最大纤芯直径82μm的基模损耗1 d B/m以下,高阶模损耗20 d B/m以上的单模运转效果。接下来,对大模场单模运转光纤中,热负载所造成的光学性能改变进行了研究。分析指出,手性耦合纤芯光纤的单模性能受热负载的影响相对严重,主要影响包括所有模式损耗的整体下降以及模式透射谱漂移。前者是由于热透镜效应所导致主芯与侧芯模式耦合强度的降低,后者则来自径向温度梯度所带来的主芯-侧芯折射率差改变。数值仿真的结果表明,纤芯直径36.2μm和55μm的两根典型手性耦合纤芯光纤在热负载200 W/m时,基模损耗谱向短波长方向分别漂移了约100 nm和130 nm。研究发现,由于预设的高阶模损耗足够高,热负载所带来的模式损耗降低并不会改变手性耦合纤芯光纤的单模运转,但对于在长波长处引入高损耗以抑制受激拉曼散射的光纤设计,热负载可能会导致剧烈的斜率效率降低。最后,考虑到模式不稳定现象的物理根源,以及掺镱石英光纤中低模式不稳定阈值的直接原因是其相对较差的材料性能,提出使用掺镱钇铝石榴石（Ytterbium-Doped Yttrium Aluminum Garnet,Yb:YAG）单晶光纤实现光纤激光单模输出的进一步提升。通过迭代计算的方法得到材料参数温度敏感的晶体光纤中的稳态,并利用有限差分光束传播法结合交替方向隐式法,对单晶光纤进行稳态周期性模式不稳定阈值仿真。仿真结果表明,Yb:YAG单晶光纤更好的光热材料性能以及内部更加严重的增益饱和效应,使其模式不稳定阈值是掺镱石英光纤的数十倍,能够轻松突破单芯万瓦。在正向泵浦时,纤芯直径40μm,内包层直径300μm,数值孔径0.06,4 m的单晶光纤模式不稳定阈值达到16.7 k W,但进一步的研究表明模式不稳定效应仍然会是该光纤功率提升的主要障碍之一。