以石墨烯为代表的一大类新型二维层状材料,体系庞大且完备,结构简易而独特,蕴含了丰富多彩、独具一格的物理性质,不仅在探索基础物理机制中占据先天优势,而且在光电子、信息、能源等领域拥有强大的潜在应用价值,是目前光电子学、凝聚态物理等领域非常活跃的研究前沿之一。最近,基于二维层状材料非线性光学特性的研究已成为新的研究热点,这对于人们深入理解微纳尺度下光与物质的作用机理、实现光场调控、开发新型光学器件均具有重要的促进作用。因此,本文从几种二维材料的二阶、三阶非线性光学效应出发,研究其物理机理,探索其在新型全光调控、激光技术等方面的应用。具体内容如下:（1）基于单层二硫化钼（Mo S2）激子效应的二次谐波调制研究。首先,实验测量了单层Mo S2的二次谐波,发现激子态的共振效应对二次谐波信号可以实现极大的增强,如1sC态可增强约40倍。其次,搭建了泵浦-探测平台,通过泵浦光激发或漂白激子态,如暗激子态2pB,3pB,和亮激子态1sA,1sB,1sC等,实现了不同激子态下对二次谐波的调控,同时,观测了激子态的建立、驰豫、复合等过程对信号光二次谐波的影响。最后,提出并实现了基于激子增强效应的非线性全光调制,结果显示,其上升沿的响应时间可达80 fs,下降沿可达900 fs,调制深度为62%,具有超快响应、高对比度等优势。（2）单层Mo S2的混频效应研究。基于双光束同步入射,实验上同时观测了单层Mo S2的二次谐波、和频、三次谐波、四波混频等二阶、三阶非线性光学效应,实现了～300 nm工作带宽的非线性频率转换。结果表明,相比块状晶体,无需满足相位匹配条件的单层Mo S2具有宽带非线性光学响应的特点。另外,首次观测了单层Mo S2的宽带响应的二阶差频信号,初步表征了其强度依赖性和偏振依赖性,观测并讨论了激子共振效应对于差频信号的影响。（3）基于二硫化钨（WS2）/Mo S2的饱和吸收体和锁模激光研究。利用液相分离法分别制备了WS2、Mo S2的纳米颗粒;搭建了D型光纤抛磨平台并制备了倏逝场外漏的D型光纤;将D型光纤与纳米颗粒通过光诱导沉积法集成为饱和吸收体,并测试了其饱和吸收效应。搭建了掺铒光纤激光谐振腔,与所制备的饱和吸收体集成,实现了基于二维纳米材料的皮秒超快锁模激光,包括高功率锁模激光和束缚态锁模激光。最后,讨论了二维纳米材料具有宽带饱和吸收效应的形成机理。（4）石墨烯的光热效应及其全光纤主动器件研究。利用火焰拉锥法拉锥微光纤,并与石墨烯集成,搭建光纤马赫-曾德干涉仪,表征了石墨烯的光热效应,并实现了基于石墨烯光热效应的全光相移器和全光开关。为进一步增强光与石墨烯的相互作用,制备了微纳光纤谐振腔,通过与石墨烯集成,将热效应提高了8倍,并观测到低阈值的非线性光学双稳态现象,实现了时间响应约为0.2 ms的全光开关。随后,将石墨烯与微布拉格光栅集成,实现了光控相移布拉格光栅和啁啾布拉格光栅,并观测到非线性光学多稳态。最后,将石墨烯与倾斜光纤光栅集成实现了全光可控的色散延迟。