在瞬时冲击力（激波）的作用下,分割不同密度流体的物质界面上的初始扰动会随时间不断增大,并最终形成湍流混合的失稳过程被称为Richtmyer-Meshkov（RM）不稳定性。RM不稳定性在惯性约束核聚变（ICF）、超新星爆发以及超燃冲压发动机等实际问题中都有着广泛的应用价值,也对于研究气体动力学、涡动力学和湍流形成机理等方面有着重要的科学意义。美国的劳伦斯利弗莫尔国家实验室、洛斯阿拉莫斯国家实验室、法国原子能委员会实验室以及中国工程物理研究院等机构均对其展开了大量的研究。在以往对RM不稳定性的科学研究中,由于余弦波作为最简单的波的形式,因此单模界面的RM不稳定性的发展而得到了最为广泛的研究。然而,无论是在ICF还是超新星爆发等实际问题中,物质界面上的初始扰动总是随机的,也就是多模界面。但激波冲击下多模界面的扰动增长对初始频谱的依赖性仍是一个待解决的难题。实际上,ICF的靶丸是由内侧的氘氚燃料和外侧的烧蚀材料层等多层不同物质所共同组成的,但激波冲击下多道界面之间的耦合机制以及多道界面之间来回反射的波系对界面演化的影响则很少被研究。另外,ICF的靶丸由多种物相共同构成,囊括了固态、液态、气态和等离子体等多种物相,但激波冲击下多相系统的演化问题则极少被研究。本文通过激波管实验、数值模拟和理论分析相结合的方法,对多模、多层和多相系统的RM不稳定性的发展问题展开研究。首先,采用改进的约束肥皂膜技术来生成初始形状可控的准二维单模和类单模界面,研究激波冲击下仅有一个主控模态的多模界面的演化。通过频谱分析发现在类单模界面演化的弱非线性阶段,模态竞争可以忽略。整体界面的振幅增长可通过线性叠加有限个模态的振幅增长得到,随着类单模界面越偏离单模界面,那么需要叠加的高阶模态的数量越多。然后,通过研究激波冲击下非周期的类单模界面的演化,发现初始界面上的非周期结构改变了初始界面的平衡位置,影响了界面中尖钉结构和气泡结构的比重,从而影响了扰动界面的发展。之后,本文研究了激波冲击下由多个主控模态组成的复杂多模界面的演化,探究了模态竞争机制和非线性效应对多模界面演化的影响,并最终构建了一个普适的非线性模型来预测多模界面演化中每一个模态的扰动发展以及整体界面混合宽度的发展。其次,实验研究了激波冲击下多层界面的演化。发现除了界面耦合机制会对气层两侧的界面的扰动发展产生一定的影响外,两道界面之间来回反射的波系对界面演化的影响也十分重要。首次量化了重气层内反射的稀疏波在界面上诱导的额外的Rayleigh-Taylor（RT）不稳定性。另外,通过求解可压缩欧拉方程的数值程序研究了稀疏波诱导下重/轻界面的不稳定性的发展,给出了在考虑变加速度情况下的修正的RT不稳定性理论模型,以及考虑了从RT不稳定性到RM不稳定性转变的修正的RM不稳定性理论模型,来预测稀疏波诱导下的界面不稳定性的发展。之后,通过对测试段内的环境气体降压的方法产生了含蒸气泡的水滴,完成了激波冲击下多相液滴变形的实验。发现蒸气泡相对液滴的大小和位置均会对液滴的变形产生重要的影响,并且多相气泡演化的后期出现的相变现象加速了液滴的变形。实验清晰地捕捉到了由RM不稳定性等因素诱导出现的横向射流结构,同时也给出了在有限体积液滴内蒸气泡坍缩的理论公式,并与实验结果吻合良好。最后,研究了扰动激波冲击下非标准RM不稳定性的发展。ICF中多束激光的能量不同也会导致球形汇聚激波的对称性不完美,也就是冲击界面前的激波面上也有扰动。针对这一点,通过平面激波绕射多个圆柱的方法形成了扰动激波,实验研究了扰动激波冲击下无扰动界面的演化,并给出了预测扰动激波诱导的非标准RM不稳定性发展的理论模型。