被动锁模光纤激光器因其输出脉冲具有极窄脉冲宽度、高峰值功率以及宽光谱等特点广泛应用于高速光通信、激光微加工、光频梳、激光雷达、生物医学和非线性光学等领域。与固体激光器相比,光纤激光器具有小型化、效率高、散热好和无需准直等诸多优点。随着新材料、新器件、脉冲形成新机制等技术和理论的快速创新发展,新型被动锁模光纤激光器已成为当前国际上一个非常重要的前沿研究方向,也是我国重点发展并有望取得重大突破的亮点领域,因此,研究被动锁模光纤激光器具有重要的科学意义和应用价值。本文从新材料、新器件、脉冲形成新机制三个方面,对新型锁模光纤激光器及其动力学特性展开了实验与理论研究。本文主要研究内容如下:1.首次实现了基于二硫化钼(MoS2)二维纳米材料的被动锁模掺铒光纤激光器(EDFL),获得了稳定的锁模孤子脉冲输出。采用化学气相沉积(CVD)法制备了少数层的MoS2二维纳米材料(简称“少数层MoS2”),实验测试了少数层MoS2薄膜在1.55μm处的非线性光学特性,发现其拥有明显的可饱和吸收特性。讨论了少数层MoS2在1.55μm波段的可饱和吸收物理机制,认为硫原子缺陷导致了少数层MoS2禁带宽度减小,使其在该波段呈现可饱和吸收特性。将少数层MoS2可饱和吸收体应用于环形腔EDFL中,成功获得了稳定的锁模孤子脉冲输出,其中心波长、光谱宽度、脉冲宽度和重复频率分别为1568.9 nm、2.6 nm、1.28 ps和8.288MHz;通过优化谐振腔结构,实现了2到20阶谐波锁模孤子脉冲输出。2.采用不同层数石墨烯可饱和吸收体进行锁模,在EDFL中分别实现了锁模飞秒和纳秒脉冲输出。采用CVD方法制备了单层石墨烯薄膜,利用湿法转移石墨烯薄膜至光纤连接头端面构成单层石墨烯可饱和吸收体,并将其应用到环形腔EDFL中,成功获得了锁模飞秒脉冲输出,并实现了11阶谐波锁模脉冲输出。此外,采用四层石墨烯可饱和吸收体作为锁模器件用于EDFL中,实验获得了稳定的锁模纳秒脉冲输出,脉宽与谱宽分别为24 ns与0.96 nm,脉冲重复频率和信噪比分别为5.78 MHz和65 dB。激光器中纳秒脉冲的形成是由于石墨烯锁模器件具有大集总正常色散引起脉冲展宽所导致的,这种锁模脉冲具有MHz量级重复频率和ns量级脉宽,在啁啾脉冲放大系统中有重要的应用价值。3.研制了最高基频重复率达384 MHz的高重频飞秒EDFL。使用新型集成光纤器件构建了全光纤结构非线性偏振旋转(NPR)锁模EDFL,实验获得了重频为169 MHz、脉宽为0.64 ps的传统孤子脉冲输出。深入探索并揭示了169 MHz高重频飞秒光纤激光器中束缚态孤子的动力学特性,实验获得了2至7个脉冲等间距分布的束缚态孤子,以及多种不等间距分布的多脉冲束缚态孤子。进一步优化腔结构,成功研制了最高基频重复率为384 MHz的全光纤结构掺铒飞秒光纤激光器;通过腔外放大、压缩,获得了脉冲平均功率为207 mW、脉宽为340 fs、重复率为384 MHz的飞秒脉冲输出。4.研究了工作在负色散区的NPR锁模EDFL输出的双波长孤子脉冲特性。适当调节泵浦功率和PC状态,激光器在1566.5 nm和1594.5 nm两个波长附近同时实现了孤子锁模,中心波长间隔为28 nm,两孤子脉冲光谱均含有传统孤子脉冲所特有的光谱边带。利用双波长锁模脉冲的中心波长间隔与频率间隔之间的函数关系,可以准确测量出谐振腔的净色散与光纤色散。双波长锁模孤子脉冲的产生机制可以归结于EDF所具有的较宽增益谱以及腔内光纤双折射导致的光谱滤波效应的共同作用。此外,还获得了一种具有调制不稳定性光谱边带的锁模状态。5.实验研究了NPR锁模光纤激光器中的耗散孤子特性,在大正色散区,获得了谱宽为27 nm、脉宽为12.5 ps的典型耗散孤子脉冲输出,在近零正色散区,获得了谱宽为66.3 nm、脉宽为62 fs的飞秒耗散孤子脉冲输出;数值研究了耗散孤子产生机理,对比分析了大正色散和近零正色散腔光纤激光器中的耗散孤子动态演化特性。数值模拟研究了工作在2μm波段的半导体可饱和吸收镜(SESAM)锁模掺铥光纤激光器的耗散型孤子动力学特性,分析了矢量孤子特性。此外,采用正色散腔EDFL,实验获得了光谱3-dB带宽为60.2 nm的类噪声锁模脉冲输出;采用类噪声脉冲光纤激光器作为光源,泵浦一段高非线性光纤,实验获得了光谱20-dB带宽超过500 nm的超连续谱。