研究发现,随着维度的降低,涨落效应和关联效应会增强,二维材料中存在着很多新奇的量子态,如分数量子霍尔效应、电荷密度波、高温超导效应,量子相变与量子临界现象等。出于应用和基础研究的双重目的,近年来二维层状材料受到广泛的关注和研究。本文详细记述了论文作者在博士期间在新颖二维层状材料领域所做的相关研究工作。工作集中在两个物理体系:二维拓扑绝缘体和铁基超导体材料。二维拓扑绝缘体是近年来物理上新发现的一类量子材料,又被称为量子自旋霍尔绝缘体。其基本特征是拓扑非平庸的体能隙和跨越体能隙的螺旋性边缘态。石墨烯是最早被预言的二维拓扑绝缘体,但是由于组成石墨烯的碳原子自身的自旋轨道耦合效应很小,所打开的能隙也很小,无法从实验上进行探测。之后,基于对石墨烯模型的研究,理论物理学家们又分别预言了由Bi、Sb、Ge、Sn等强自旋轨道耦合元素构成的单层类石墨烯结构材料（铋烯、锑烯、锗烯、锡烯等）。它们较大的拓扑非平庸的体能隙和相应的导电边缘态有着潜在的应用前景。在第一个工作中,我们在空间反演不对称的层状绝缘体BiTeCl上生长了二维拓扑绝缘体Bi（111）双原子层薄膜。实验发现,Bi在BiTeCl的Te截止面上倾向于岛状生长模式,只有在Cl截止面上才能长成大面积的单个双原子层薄膜。后续的ARPES测量对比文献中计算的能带数据表明,Bi（111）薄膜和衬底表面的Cl原子之间发生了严重的电荷转移。这导致Bi（111）薄膜原本在费米面附近的能隙转移到了大约0.9eV附近,已经进入衬底的导带区域。同时,Bi（111）薄膜在Γ点的价带与衬底的导带发生了能带杂化,致使Rashba型的能带自旋劈裂转变成了同侧同自旋的特殊能带自旋构型,而远离Γ点的Bi（111）薄膜能带仍然保持着较好的本征能带形状。在第二个工作中,我们在Bi2Te3衬底上生长了理论预言的大能隙可化学调控的二维拓扑绝缘体锡烯。实验中,我们利用STM建立了Sn薄膜在Bi2Te3衬底上的原子堆叠结构,与期望中的锡烯结构完全一致。随后,变光子能量与变偏振的ARPES实验发现我们所生长的锡烯薄膜的能带结构与第一性原理计算的能带在大部分区域都一样。唯一的区别是布里渊区K点的能隙变大了很多。分析表明,这是因为构成K点能带的Sn的pz轨道具有较强的化学活性,容易发生吸附而被饱和。这证实了理论预言中可以通过不同化学基团对pz轨道进行饱和从而调控锡烯的能带结构。铁基超导体是21世纪新发现的一类非常规超导体。它具有层状结构。超导发生在Fe-Pn（Pn=As、Se）层。其中FeSe具有最简单的晶体结构适合用分子束外延方法（MBE）生长薄膜。在第三个工作中,我们使用自旋极化扫描隧道显微镜技术（SPSTM）探索了SrTiO3（001）表面生长的非超导FeSe多层膜的磁性质。由于SPSTM无法直接探测未出现在表面的Fe原子的磁性,因此我们尝试利用缺陷的磁性质推测薄膜本身的磁性质。实验中,我们发现薄膜表面由退火产生的本征Se空位具有以空位为中心准四度对称的顺磁磁化行为。随后,利用第一性原理计算对比讨论了理论预言的反铁磁基态和无长程磁序的基态在Se空位附近的响应变化。我们发现无论基于何种反铁磁基态,由于反铁磁背景的钉扎效应,Se空位附近均不可能产生实验中观察到的四度对称的磁化分布。只有基于无长程磁序的基态,在Se空位附近才会产生四度对称的震荡衰减的磁矩。由此,我们判断对于生长在SrTiO3（001）上的多层FeSe薄膜,尽管超导态被抑制,但是并没有出现可能的反铁磁竞争序。本文内容安排如下:第一章将说明研究的背景和意义,并大致介绍正文的实验工作中所涉及的两种材料的物理体系:拓扑绝缘体和铁基超导体;第二章将详细介绍本人工作中所用到的实验设备和相关实验方法;第三、四、五章将分别详细讲述上述的三个工作内容;最后,对全文做出总结。