过渡族金属层状化合物常常具有丰富的结构与电学、磁学等方面的奇特物性。本论文主要对几种含过渡族金属Fe和Co的层状化合物的磁性和热电性能进行了研究。本论文以抑制A_xFe_2-ySe₂体系中相分离为出发点,制备出了三个新物相,研究了它们的结构与物性,并分析了该体系结构演变的原因和物理性质背后的机制;设计并合成了三个具有本征低晶格热导率的新型过渡族金属层状化合物,为寻找和设计具有低晶格热导率的新型热电材料提供了新的思路;此外,研究了具有复杂Fe配位环境的层状化合物,旨在深入认识其结构与物性的关联。本论文所取得的主要成果如下:首先,在A_xFe_2-ySe₂超导体中用Li取代一半的Fe,制备得到了三个新型化合物ALiFeSe₂,分别为:具有CaA1₂Si₂结构的NaLiFeSe₂,和具有ThCr₂Si₂结构的KLiFeSe2和RbLiFeSe2。通过Li的掺杂,消除了 A_xFe_2-ySe₂中的Fe空位,有效抑制了相分离,得到了 Li/Fe共占位的均一相。通过对ThCr₂Si₂结构的A_xFe_2-ySe₂和ALiFeSe₂晶体结构的比较发现,Fe位掺Li会导致层间距减小,并使A-Se键长增大。在ThCr₂Si₂结构的Na_xFe₂-ySe₂中掺Li,Na-Se键长增大,导致Na-Se电子云交叠减少,NaLiFeSe₂的ThCr₂Si₂结构不稳定,而形成CaAl₂Si₂结构后,Na-Se键长减小,结构更加稳定。因此我们推测Na_xFe₂-ySe₂位于CaA1₂Si₂结构和ThCr₂Si₂结构的边界位置。磁性和电学测量表明该体系具有各向异性的自旋玻璃转变和符合热激活模型的半导体行为,并且随着晶胞的增大,它们的导电能力逐渐下降。根据第一性原理计算,我们认为其半导体行为是由强的电子关联导致的。对该体系结构和物性的研究有助于加深对K_xFe_2-ySe₂超导体系正常态的理解。其次,设计并合成了三个具有本征低晶格热导率的新型层状化合物CsA’MSe₂,分别为:CsAgCoSe₂、CsAgFeSe₂ 和 CsLiFeSe₂,空间群为 Acmm（No.67）。CsA’MSe₂的晶体结构可以看作是由ThCr₂Si₂结构经原子部分有序排列得到的。由于CsA’MSe₂具有复杂的层状结构、重的原子质量、部分原子无序占位、低的德拜温度等因素共同作用,该体系具有极低的本征晶格热导率。它们的室温晶格热导率分别为0.34Wm^-1 K^-1、0.27Wm^-1 K（-1）和0.(5Wm^-1 K（-1）。如此低的本征晶格热导率为开发和探索新型热电材料开辟了新的方向。相较于CsAgFeSe₂和CsLiFeSe₂,CsAgCoSe₂具有更为复杂的能带结构,拉近了轻价带和重价带的能量距离,提高了载流子有效质量,因而具有较高的Seebeck系数,热电优值ZT在875 K时可达0.57。最后,研究了准二维铁磁体Fe_3-yGe（1-x）As_xTe₂体系的结构、磁性和电学性质。我们尝试了在金属母体Fe_3-yGeTe₂中的Ge位掺杂As,固溶度高达85at.%。实验发现,随着掺杂量由0增大到0.85,居里温度由177K减小到33 K,电阻率下降约30%。第一性原理计算表明,在该体系中哑铃对Fe（1）-Fe（1）沿c轴方向的伸长是居里温度下降的主要原因,载流子掺杂对其磁性调节的作用较小。说明可以通过调节过渡族金属间的原子间距来调控磁性材料的物性。