三维拓扑绝缘体(以下简称拓扑绝缘体)自发现的十多年以来,因其独特的电子结构和物理性质一直是凝聚态物理的重要前沿。通过向拓扑绝缘体引入磁有序,可打破时间反演对称性,使其表面态在狄拉克点附近打开一个能隙,进而转变成一个有质量的狄拉克费米子体系。以此为基础,人们在磁性拓扑绝缘体中预言了众多新奇的量子现象,具有非常重要的潜在应用价值:如利用量子反常霍尔效应的边缘态实现低能耗电子传输;利用受拓扑保护容错强性的手性马约拉纳零能模来实现量子计算等。因此,磁性拓扑绝缘体在近些年来受到世界范围内的密切关注,并取得了一系列激动人心的进展。然而,目前人们对于磁性拓扑绝缘体的研究还需深化,如磁性作用强、无序程度低的长程铁磁有序的实现面临艰巨挑战,有关磁性的微观作用机制还存在不少争议等。针对以上问题,我们选取了两类磁性拓扑绝缘体进行了深入研究。一类是自旋结构极具争议的Mn掺杂的Bi2Se3:尽管有不少实验发现(Bi,Mn)2Se3的体态和表面态都存在铁磁有序,但却从来没有在这个体系中观测到反常霍尔效应;最近有研究表明该体系的表面态的能隙来源于与掺杂原子有关的非磁性共振散射,这与以前根据自旋分辨角分辨光电子谱测量提出的磁性作用导致的刺猬型自旋结构不符合。另一类是基于具有反铁磁绝缘体Mn Se和拓扑绝缘体的异质结:利用反铁磁的界面作用在表面态中打开能隙,有利于排除铁磁体在相应结构中产生的干扰效应;此外,由于Mn Se适于低温生长,有希望利用Mn Se/拓扑绝缘体/Mn Se三明治结构实现量子反常霍尔效应。本论文中,我们使用自主搭建的分子束外延(MBE)系统制备了这两类磁性拓扑绝缘体的低维结构,并对其输运性质进行了系统的研究,主要工作总结为以下两方面:1.通过MBE方法制备了一系列不同Mn掺杂量的(Bi1-xMnx)2Se3(x=0-0.088)薄膜样品,在输运上首次观测到了(Bi1-xMnx)2Se3的反常霍尔效应,并获得以下结果:a.通过改变Mn掺杂浓度或调节栅压,我们发现反常霍尔电阻存在符号相反的两个分量,两者可以在很宽的参数范围内共存并且呈现出对掺杂浓度和栅压的截然不同的依赖关系。经分析得出正、负反常霍尔分量分别来源于系统体态和表面态中不同的磁有序。这种具有双分量的反常霍尔效应从未在以前的磁性掺杂拓扑绝缘体或其他磁性材料中被观测到。b.表面态的反常霍尔电导分量与化学势呈现出非单调的依赖关系,与基于平均场近似下有质量狄拉克费米子模型的预言不符。化学势较低时被抑制的反常霍尔电导很可能与磁性杂质导致的非磁性共振散射效应有关。c.在高掺杂的样品中,栅压调控可使磁电导的符号由负转变为正;其中,负磁电导与反弱局域化有关,而正磁电导可能是源于无序、非磁性共振散射以及铁磁序的共同作用。2.我们通过MBE方法制备出了Mn Se/Bi2Se3和Mn Se/(Bi,Sb)2Te3异质结,并利用对温度、背栅电压和磁场等调控对这些磁性拓扑异质结进行了系统性研究。我们在Mn Se/(Bi,Sb)2Te3异质结中发现了一些界面存在较强磁交换作用的迹象:在25 K以上仍能在平行磁场中观察到明显的负磁电阻;在垂直低场测量中,观察到可达几十欧姆的反常霍尔电阻。