三阶非线性光学效应及其应用是非线性光学研究的热点。随着非线性光吸收、光克尔效应等三阶非线性光学效应的研究深入,人们对三阶非线性光学材料提出了更高的要求:超宽工作带宽、超大非线性折射率、超快响应等光学特性。目前,无机材料、有机材料、半导体光学材料等具有很好的三阶非线性光学性质,但能够同时满足工作带宽宽、非线性折射率大、响应快这些要求的材料还很少。近几年,二维原子晶体材料成为凝聚态物理、材料等领域研究的热点。其中,最具代表性的是石墨烯。特殊的单原子层晶体结构和电子能带结构决定了石墨烯具有优异的电学、热学和力学等性质。除此之外,石墨烯也具有优异的非线性光学特性:大的非线性折射率、宽带的可饱和吸收、宽带的反饱和吸收、巨大的双光子吸收等特性。除石墨烯外,拓扑绝缘体、过渡金属硫化物等二维原子晶体相继被制备出来。由于不同的成分和结构,这些二维原子晶体材料展现出与石墨烯不同的物理、化学性质,为探索新的物理现象和应用提供了广阔的空间。为此,本文对石墨烯及类石墨烯二维原子晶体材料的三阶非线性光学进行了系统的研究,并取得如下成果:(1)实验研究了石墨烯的宽带可饱和吸收性能,并对其非线性吸收特性进行了定性解释。根据石墨烯的零带隙狄拉克锥能带结构,理论上石墨烯对紫外、可见光、近红外、中红外、微波甚至太赫兹波,都具备饱和吸收性能。利用不同波段的激光应用于非线性测量系统中,实验研究了石墨烯分别在800 nm、1053 nm、1570 nm、1950 nm以及0.1 THz波段的非线性吸收特性,证明石墨烯具备宽带可饱和吸收特性。对比各波长的饱和吸收参数,发现随着波长的增加,饱和光强阈值随之减小。实验结果为实现宽波段的脉冲激光产生、光滤波等应用奠定了基础。(2)首次实验测量得到拓扑绝缘体硒化铋的三阶非线性光学系数,并对其非线性机制进行了分析。通过首次自行搭建搭建的Z-scan扫描系统,结合波长800 nm、脉宽100 fs的超快光源,实验测量了化学合成法制备的少层硒化铋的三阶非线性光学性能。测量结果表明,硒化铋样品呈现出明显的可饱和吸收特性和自聚焦效应。经过拟合得到硒化铋的饱和光强约为10.12 GW/cm2,归一化调制深度为61.2%,非线性折射率系数约为2.26×10-14m2/W,比一般体电介质高出六个数量级。此外,还测量得到硒化铋在通信波段同样具备饱和吸收特性,将其应用于光纤激光器,成功获得锁模脉冲激光输出。(3)实验研究了拓扑绝缘体硒化铋和碲化铋在不同分散液中的可饱和吸收效应。利用液相剥离的方法制备了两种典型的少层拓扑绝缘体硒化铋和碲化铋,并将其分散在分散剂DMF、IPA和NMP中。利用800nm飞秒激光器,对不同分散液溶液进行了 Z-scan开孔扫描研究。结果发现,这两种拓扑绝缘体分散液都具备优异的可饱和吸收特性,并且不同分散液的饱和吸收性能与其分散效果相对应。(4)首次实验发现少层二硫化钼的宽带可饱和吸收效应,并基于其非线性吸收特性实现在1 μm波段的锁模光纤激光输出。利用Z-scan和P-scan方法测量了少层二硫化钼分散液和薄片,得到其在400 nm、800 nm以及1064 nm波长处的可饱和吸收特性。将少层二硫化钼沉积在光纤头上,成功实现了其在光纤激光器中的锁模应用,获得波长为1054.3 nm、脉宽为0.8 ns的脉冲激光输出。