三阶非线性光学效应及其应用是非线性光学研究的热点。随着非线性光吸收、光克尔效应等三阶非线性光学效应的研究深入,人们对三阶非线性光学材料提出了更高的要求。不同于传统意义上的绝缘体和金属,由于强的自旋轨道耦合导致了能带反转,拓扑绝缘体的体材料是绝缘体,其表面或边缘呈现金属特性,它在凝聚态物理领域已经引起了广泛关注,但在非线性光学特性方面的研究却非常少。本文采用透射Z扫描和反射Z扫描两种方法分别测量了拓扑绝缘体薄膜及晶体在800nm飞秒脉冲激光器激发下的非线性折射特性,主要研究成果成果如下:基于美国Coherent公司的钛掺杂蓝宝石固体激光器系统,使用Newport公司的ILS型号电动平移台、IR型号功率探头和2936型号功率计,搭建了800 nm光源下的Z-scan测量平台。实验测量了二硫化碳标准样品的三阶非线性光学特性,公式拟合得出样品在实验条件下的三阶非线性折射率,大小为2.88×10-1 9m2/W,与之前的文献报导数值相吻合。以上实验结果证明我们所搭建的测量系统是相当稳定可靠的。基于透射型Z-scan方法,实验研究了拓扑绝缘体碲化铋和硒化铋薄膜的非线性吸收和非线性折射率特性,并获得了其非线性光学参数和规律。在800 nm飞秒脉冲激光激发下,利用开孔和闭孔透射Z扫描实验系统对样品进行测量,将实验数据进行归一化并与理论公式拟合,获得了碲化铋和硒化铋薄膜的非线性光学参数。基于反射型Z-scan方法,实验研究了拓扑绝缘体碲化铋和硒化铋晶体的非线性光学特性,并获得了其非线性光学参数和规律。测量了在800 nm飞秒脉冲激光激发下Bi2Te3和Bi2Se3晶体的非线性折射系数。由于晶体无法透光,实验采用闭孔反射Z扫描实验系统测量样品,通过拟合Z扫描归一化曲线,得到晶体的非线性折射系数,进一步分析了材料内部的非线性效应竞争机制。研究结果表明:拓扑绝缘体薄膜及晶体在800 nm近红外波段下具有较大的非线性折射系数,在非线性光学器件等方面具有巨大应用潜力。