1937年,意大利物理学家埃托雷·马约拉纳（Ettore Majorana）预言了一种反粒子是自身的基本粒子,叫做马约拉纳费米子。固体宇宙中的马约拉纳费米子满足非阿贝尔统计规律,对于实现拓扑量子计算具有重要意义,因此引起了人们广泛关注。本文通过扫描隧道显微镜/扫描隧穿谱（scanning tunneling microscope/spectroscopy,STM/S）系统性的研究了铁基超导体FeTe0.55Se0.45表面的磁通涡旋中的马约拉纳零能模。这些结果为高温下实现马约拉纳编织提供了一个有潜力的单一材料平台。1. 使用STM大幅度改变针尖样品间距,在FeTe0.55Se0.45表面的磁通涡旋中观测到了马约拉纳零能模的电导平台特征,这是马约拉纳零能模存在的一个关键性实验证据。由于超导磁通涡旋中的马约拉纳零能模自身具有电子空穴对称性,使得量子隧穿过程在低温下发生Andreev共振反射并产生稳定的量子化电导平台。研究发现,有且只有马约拉纳零能模的可以出现电导平台的特征,而其他拓扑平庸的磁通涡旋束缚态并不会存在这个特征。经过大量实验发现,马约拉纳零能模的电导平台特征可以在不同样品,不同仪器中观测到。统计结果显示,平台的电导值接近甚至达到量子化电导2e2/h。进一步研究发现,系统本身的总能量展宽和样品中存在的准粒子中毒效应都可能引起平台电导低于理论值2e2/h。磁通涡旋中零能束缚态产生电导平台这种独特行为,强有力的支持了该铁基超导体中马约拉纳零能模的存在,对最终实现马约拉纳零能模的编织操作具有重要意义。2. 通过对比FeTe0.55Se0.45样品中两类磁通涡旋束缚态的能量分布,发现了其中整数量子化和半整数量子化的束缚态能级,并深入讨论了马约拉纳零能模产生的微观机制。本文进一步对样品中存在的两类磁通涡旋进行了系统性的研究,包括存在马约拉纳零能模的拓扑磁通涡旋和不存在马约拉纳零能模的平庸磁通涡旋。进一步探究发现,两类磁通涡旋束缚态产生的空间图案也有明显的差别。这些现象都表明了两类磁通涡旋的涡旋准粒子分别来自于拓扑的Dirac表面态能带和平庸的体相能带,因此两者之间的束缚态能级存在半整数的量子化移动。通过研究两类磁通涡旋的空间分布统计规律,发现两类磁通涡旋确实可以在样品中共存,并且磁通涡旋的比例有很强的空间依赖性。建模计算结果很好的重复了两类磁通涡旋中的测量结果,暗示了样品中有拓扑和平庸两类超导区域共存。该结果为FeTe0.55Se0.45的超导拓扑性质提供了有力的证据,对进一步研究马约拉纳零能模有重要意义。3. 通过实验测量和理论计算证明了单层褶皱锑烯结构中存在一维拓扑边界态。在Cu（111）基底上外延生长了单层褶皱锑烯,并在上面进一步构筑了锑烯纳米岛,通过STM等多种手段证明其褶皱层状的原子结构。由第一性原理计算发现,自由的单层褶皱锑烯中存在稳定的一维拓扑边界态,当考虑基底影响时拓扑边界态依然存在但是变得不利于观测。而实验构筑的第一层锑烯可以屏蔽基底的影响,利用STM/S,在锑烯纳米岛边缘观测清晰的一维拓扑边界态。而且发现锑烯纳米岛对边上有能量不同的两种边界态,边界态的能量和空间特征与理论结果一致。该结果报道了单层褶皱锑烯中的一维拓扑边界态,对单层锑烯材料以及其他相关二维拓扑材料的物性研究和未来应用有重要意义。