近年来Si基GaN材料的生长受到了广泛的关注，但是GaN和Si衬底之间大的晶格失配和热失配使得GaN外延层产生大量的穿透位错和裂纹。本论文提出并研究了采用不同种类和结构的插入层和缓冲层，特别是采用复合层的生长方法，通过实时监测和其它薄膜结构性质的研究手段，对Si(111)衬底上生长的GaN外延层的应变及位错的分布和演变状况进行了系统的研究。本论文主要包括以下内容：　　 1、研究了AlGaN/AlN复合插入层和AlGaN/AlN复合缓冲层对Si(111)衬底上GaN外延层的张应力补偿效果和位错过滤作用。发现，相对于采用单一的AlN层，再加入一层AlGaN不仅能够在GaN外延层生长过程中引入更大的压应力，补偿降温过程中GaN层产生的张应力，从而减少甚至消除GaN表面的裂纹，而且可以有效地过滤位错，提高GaN外延层的晶体质量。　　 2、结合光学在位应力监测，研究了不同结构的AlGaN/AlN复合插入层，即不同厚度的单一组分AlGaN层和改变Al组分梯度的AlGaN层，在高温AlN插入层上外延生长时的应力演变过程，及其对顶层GaN的张应力补偿效果和位错过滤作用的影响。由于AlGaN层中位错倾斜对压应力有驰豫作用，随着单一组分AlGaN层厚度的增加，顶层GaN中的位错密度降低，但应力补偿效果减弱。而采用梯度组分的AlGaN层后，随着AlGaN层厚度的增加，顶层GaN中的位错密度降低，同时应力补偿效果增强。　　 3、用XRD和TEM方法研究了AlGaN/AlN复合缓冲层上生长的GaN外延层中穿透位错的演变过程。研究发现AlN缓冲层中产生的位错大部分终止于AlGaN和GaN间的界面处，而AlGaN层施加的压应力促使GaN层中的穿透位错在界面附近发生倾斜，从而增大了位错之间反应的几率，有助于进一步降低GaN层的位错密度。基于此，我们发现增加梯度组分AlGaN层的层数可以更有效地过滤穿透位错，提高GaN外延层的晶体质量，而且使应力补偿效果增强。　　 4、初步尝试了在Si基GaN纳米柱阵列上横向外延生长GaN的方法，研究了横向外延生长的GaN层的结构性质和发光特性。发现在横向外延的GaN层合并后，底部的GaN纳米柱之间依然留有空隙，从而有利于GaN层张应力的释放。与GaN模板层相比，横向外延的GaN层的晶体质量和光学质量都有显著提高。