拓扑绝缘体是一种内部绝缘,而表面具有有纳米级厚度金属导电层的新型量子材料。其金属界面态受时间反演对称性保护,不受非磁性杂质散射的影响（具有鲁棒性）,因而在自旋电子学、量子器件等方面有着广泛的应用前景。扫描隧道显微镜（STM）以及在此基础上发展而来的自旋极化STM技术是近二十年来在表面物理和表面磁性研究方面最成功和有效的研究手段之一,其独特的表面敏感性正适合于研究拓扑绝缘体这类有丰富表面电子特性的物理体系。在本工作中,我们利用STM研究了二维拓扑绝缘体Bi（111）薄膜在三维拓扑绝缘体表面的生长模式以及Bi（111）一维拓扑边缘态;利用自旋极化STM研究了磁性掺杂拓扑绝缘体表面态的磁各向异性。具体来说,本论文的工作包括以下三个方面:（1）三维拓扑绝缘体Bi₂Se₃以及Bi₂Te₃上超薄Bi薄膜的生长。我们在三维拓扑绝缘体表面上实现了Bi（111）薄膜的逐层（双层）生长,并结合高能电子衍射对晶格常数的实时精确测量能力以及STM的微观形貌分辨能力系统研究了Bi（111）超薄膜的生长特点。我们首先研究了Bi（111）在Bi₂Se₃表面的生长。Bi（111）体材料表面晶格常数为4.54?,Bi₂Se₃表面晶格常数为4.13?,在Bi₂Se₃上生长Bi（111）时,由于两者之间接近9.9%的晶格失配,第一层Bi（111）的晶格被压缩到了4.21?,然后迅速弛豫到了第二层的4.35?和第三层的4.39?,并从第四层开始缓慢向体材料晶格弛豫。同时,在第二层的生长初期,发现了从Bi（110）到Bi（111）的结构相变;在第二、第三层Bi（111）上发现了具有准六角周期性的原子结构弯曲,其中第二层的周期约为9.9nm,第三层的周期约为6.3nm。Bi（111）与Bi₂Te₃（表面晶格常数4.38?）表面晶格更加匹配。在此基础上,我们进一步研究了Bi（111）在Bi₂Te₃表面的生长,与Bi₂Se₃上的情形相比,由于Bi₂Te₃的晶格（4.38?）更加接近于Bi（111）体材料,在Bi₂Te₃上第一层Bi（111）薄膜的边界更平直,饱和覆盖率更大,且在更高覆盖率下并没有出现晶格畸变,只表现出和Bi₂Se₃上第四层以后相似的生长特征。（2）Bi（111）双层（BL）膜中一维拓扑边缘态的空间和能量分布。鉴于在Bi₂Te₃表面上Bi（111）薄膜较好的成膜情况,我们在这个体系中研究了二维拓扑绝缘体Bi（111）的性质。利用STM隧道能谱测量,我们得到了1BL和2BL的Bi（111）薄膜的电子态密度在边缘以及内部的空间、能量分布;结合角分辨光电子能谱和第一性原理计算,我们确认了在边缘上观察到的边缘态属于二维拓扑绝缘体Bi（111）双原子层结构的拓扑边缘态,并得到了拓扑边缘态在能量和空间上的分布。实验表明,拓扑边缘态位于Bi（111）带隙中,但能量分布范围向低能量区域有扩展,且在空间上以约1²nm宽度分布于边缘。这些都肯定了理论上对Bi（111）能带结构和拓扑边缘态的预言和描述。（3）拓扑表面态的磁各向异性。我们结合自旋极化STM的表面磁性测量以及振动样品磁强计（VSM）的体磁性测量,系统研究了熔体法生长的磁性拓扑绝缘体Cr0.05Sb1.95Te3的磁性。体测量表明Cr0.05Sb1.95Te3的易磁化轴垂直于（111）面,矫顽力为50Gs;难磁化轴在（111）面内,饱和磁场为1T。但自旋极化STM的表面测量除了发现了与体测量一致的难易轴行为之外,在（111）面内还发现了矫顽力为500Gs的易轴行为。通过分析能量分辨的表面自旋极化率,我们发现拓扑表面态表现出与体磁性不同的磁化行为,即体材料的易磁化轴垂直膜面,而拓扑表面态的易磁化轴在面内。这一奇特的磁各向异性以及奇异磁化率现象对于理解磁性拓扑绝缘体有着重要意义。