量子自旋液体是一种因存在强量子涨落使得体系即使到绝对零度也无法建立长程磁有序的新奇量子态。该体系不存在自发对称性破缺与局域序参量,不能用朗道相变理论进行描述;自旋间长程关联形成量子纠缠,并存在着非阿贝尔统计的任意子激发,可被用于量子计算。另外,有观点认为通过掺杂量子自旋液体可以得到高温超导,因此对量子自旋液体的研究也有助于人们对高温超导电性起源的进一步了解。在量子自旋液体的众多分类中,Kitaev量子自旋液体作为其中一个重要的理论模型,因其独有的新奇物理特性,表现出了颇高的研究价值。Kitaev模型是一种建立在二维六角蜂窝状格子上的自旋1/2理论模型,该模型具有拓扑序,可进行严格求解。更有意思的是,体系内存在着分数化激发:Majorana费米子与Z2规范场。因此,寻找到真实的Kitaev量子自旋液体材料并对其进行研究不仅在基础科学领域有着重大的研究意义,也在量子通讯、量子信息等方面有着很高的应用前景。近年来,人们发现Mott绝缘体中晶体场、自旋轨道耦合与电子关联作用产生的组合效应可以实现各向异性Kitaev相互作用。因此,具有4d轨道电子的Mott绝缘体α-RuCl3成为了Kitaev量子自旋液体的主要候选材料,寻找该材料中的Kitaev物理与量子自旋液体激发的理论及实验研究呈井喷之势层出不穷。磁激发性质是判断一个材料是否为量子自旋液体的重要判据,通过中子散射技术探究量子自旋液体材料中新颖自旋态及其对应的分数化激发具有其他实验手段不可替代的优势及必要性。本文主要利用非弹性中子散射实验对Kitaev量子自旋液体候选材料α-RuCl3中的新颖磁激发进行研究。主要研究内容及结论如下:1.非弹性中子散射实验对α-RuCl3中自旋波激发的研究。我们利用气相输运法生长出高质量α-RuC13单晶并进行结构及物性表征。利用弹性中子散射实验确认了该材料的磁有序基态为锯齿序(Zigzag)态,并首次对α-RuCl3单晶进行了非弹性中子散射实验,得到了位于高对称点M点(0.5,0,0)附近的自旋波激发色散谱。通过将从第一性原理出发基于线性自旋波理论的结果对实验获得的自旋波色散谱进行拟合,并得到了符合实验结果的动力学参数——K=-6.8 meV,Γ=9.5 meV。我们发现该体系哈密顿量中各向异性Kitaev项K与非对角项r项的数值远大于海森堡项J,首次在实验中验证了用K-r模型来描述这个体系的正确性。该研究证实了真实材料中Kitaev相互作用的存在。2.利用极化中子散射实验确认α-RuCl3中量子自旋液体激发模式的存在。有模型及中子散射实验提出该材料布里渊区的中心,即r点存在满足分数化激发特征的连续谱激发。然而普通的非弹性中子散射实验在测到布里渊区中心时会存在一些与原子核散射带来的非相干散射造成较大的背景,这种背景信号也是各向同性分布在较大动量空间,使得无法判断连续谱是否存在分数化激发的贡献。极化中子散射可以通过测量不同通道的翻转自旋有效地将核散射与磁散射进行区分。因此,我们利用极化中子散射实验探测位于r点附近的量子自旋液体激发,确定在Γ点附近确实存在与温度无依赖关系的磁激发信号,给出了分数化激发存在的重要实验证据。3.外加磁场下α-RuCl3中新奇物理性质的研究。即使α-RuCl3中存在Kitaev相互作用且占据主导地位,但整个材料基态仍然是锯齿状磁有序态,而纯量子自旋液体中不存在磁有序。因此,我们利用外加磁场对α-RuCl3单晶进行量子相的调控,发现一个平行于ab面内的外加磁场可以抑制掉该体系的磁有序,在Bc～7.5 T时磁有序被完全抑制,之后会出现一个新的无序相。我们结合核磁共振、极低温热导与非弹性中子散射实验对该材料磁场下的相图进行了系统研究:核磁共振实验与极低温热导结果证明了磁有序被抑制后的无序相为量子自旋液体相。中子散射实验得到了磁场下的能隙演变相图,发现在临界场BC附近一定区域内存在无能隙磁激发,磁场继续增大则能隙重新打开进入新的相区。