本文采用数值方法研究高超声速边界层Grtler涡失稳和相关流动转捩控制问题。在线性稳定性理论框架下,本文首先探究了Ma=4.5边界层内Grtler模态离散谱的激发和演化过程。结果表明,曲率(凹面)对F模态和S模态的同步起促进作用;提高展向波数则会抑制上述同步。当曲率和展向波数同时存在,F模态与S模态仍可能发生同步而产生Mack第二模态,但扰动最终发展为Grtler模态。在靠近前缘位置,自由来流中的慢声波是激发非定常Grtler模态的初始扰动,熵、涡波则是激发(准)定常Grtler模态的初始扰动。研究同时发现了高阶F模态与S模态同步亦存在分叉现象。进一步,本文系统性研究了压缩性对Grtler涡二次失稳的影响。在亚声速和中等超声速条件下(Ma=0.015,1.5,3.0),起主导作用的Grtler模态为附着于壁面的W模态;而在高超声速流动中(Ma=4.5,6.0),最不稳定Grtler模态为脱离于壁面的T模态。上述Ma的影响随着扰动向下游演化、发展,表现出更大的影响。Grtler涡通过lift-up机制产生条带(G型条带)。条带强度在下游迅速增长,导致二次失稳,依次出现Sinuous-I模态,Varicose模态和Sinuous-II模态。以上三个模态都可能成为主导模态。在高超声速条件下,基于流向速度的临界强度A(u)大幅下降,同时基于温度的强度A(T)上升,即热力学条带逐渐起重要作用。与低速流动不同的是,在高超声速时,Sinuous-I模态始终是主导模态。最后,本文将条带应用于流动控制。针对Ma=4.5,6.0的高超声速边界层,采用非线性PSE研究了K型条带和G型条带与二维扰动的相互作用。当条带强度在合适的范围,即足够大而改变边界层流动同时足够小而不触发二次失稳,第一模态和Mack第二模态都可以被有效抑制。另一方面,根据G型条带的指数增长特性,本文提出了一种基于最不稳定Grtler涡的粗糙单元设计方法,用于促进流动转捩。