拓扑绝缘体是一种全新的量子物质形态。在强自旋轨道耦合作用下,其体能态是绝缘体性的,表面则是金属性的。这种无能隙的表面态是受时间反演对称性所保护的、自旋分辨的电子态,并由无质量的狄拉克方程所描述。这些奇异的特征使得拓扑绝缘体在未来的自旋电子学和量子计算等领域有重要的应用前景。2009年,理论物理学家预言了一族新的三维拓扑绝缘体材料（Bi₂Se₃、Bi₂Te₃和Sb₂Te₃）。人们利用角分辨光电子能谱观察到了上述材料中表面态的单个狄拉克锥结构,从能带结构的角度证实了理论预言的正确性。然而,拓扑绝缘体表面态的二维特性以及受时间反演对称性所保护的特征仍未得到实验证实。在本论文中,我们对这些问题进行了系统的扫描隧道显微镜研究。首先,我们采用分子束外延的生长方法制备出了高质量的、接近本征的Bi₂Se₃和Bi₂Te₃薄膜。在此基础上,我们利用扫描隧道显微镜分别对这两种薄膜的电子结构和拓扑性质进行了研究。论文得到的主要实验结果如下:1.在低温强磁场下,我们通过扫描隧道谱测量观察到了Bi₂Se₃薄膜表面态的朗道量子化。通过分析朗道能级随级数n和磁场B的变化规律,验证了拓扑表面态的线性色散关系,并且证明了导致半整数量子霍尔效应的零级朗道能级的存在。另外,通过研究表面杂质对朗道能级的抑制作用,证明了拓扑表面态的二维特性。拓扑绝缘体表面态的朗道量子化为其量子霍尔效应的实现提供了实验依据。2.利用高能量分辨的dI/dV mapping测量,我们观察到了Bi₂Te₃表面态因杂质散射形成的电子驻波。通过分析驻波对能量和散射动量的依赖行为,我们得到了表面态的线性色散关系。与通常金属表面态不同,非磁性杂质原子对拓扑电子态的背散射被完全抑制,这是时间反演对称性导致的直接结果。该实验提供了拓扑表面态存在的最直接证据。3.我们研究了磁性杂质（Fe和V）对拓扑绝缘体表面态的影响。低温STS测量表明,仅有Bi₂Te₃薄膜表面的V原子在磁场下产生塞曼劈裂,这是晶体场引起的V原子磁各向异性所导致的。除此之外,我们利用低温dI/dV mapping同样观察到了磁性杂质导致的电子驻波,其行为和非磁性杂质导致的驻波非常类似。该实验对于深入理解拓扑表面态具有重要的参考价值。