GaN宽禁带半导体材料以其自身一系列的优良特性,在高温、高速、高频、高功率、辐射、蓝紫发光及探测等领域有广泛的发展。铌酸锂(LiNbO3)单晶是一种优良的铁电、压电及热释电晶体,广泛应用于声表面波、非挥发存储、光调制器与光开关等领域。将两类材料集成,实现GaN/LiNbO3集成薄膜,有利于多功能化、小型化器件的发展。但是,两类材料的物理、化学性质差异,导致实现相容性生长存在巨大难题；同时,由于异质外延过程的复杂性、实验条件及理论研究的限制,与之相关的一些物理现象与内在机制还未深入研究,尤其是GaN薄膜的异质外延生长机制以及GaN微结构控制等方面研究不足。蓝宝石具有与GaN相似的六方结构,成为目前工业上常用的衬底,对其异质外延生长研究具有重要的工业价值及科学意义。本论文采用激光分子束外延(L-MBE)设备,首先在蓝宝石衬底上进行了GaN薄膜的生长研究,详细分析了大失配体系下GaN薄膜的异质外延生长机制,优化了工艺参数;其次进行了GaN/LiNbO3集成研究,在优化的工艺参数下制备了高质量GaN薄膜,解决了两种材料生长工艺不相容的问题,并对不同失配体系下的GaN薄膜的生长机理及微结构控制进行了深入研究。(1)研究了生长温度、激光能量及激光频率对GaN/蓝宝石集成的影响,得到优化工艺条件：基片温度700℃,激光频率2Hz,激光能量180mJ。GaN薄膜厚度超过60nnm后保持层状稳定生长,表面平整并形成六方规则形状晶粒,具有良好的面外结晶质量及面内对称性,与蓝宝石衬底之间以30°旋转关系外延,其外延关系为GaN(0002)[1120]//蓝宝石(0001)[1010],晶格失配为14.6%。(2)发现通过严格控制生长条件,GaN薄膜可直接在大失配体系下实现高质量平整的外延生长。采用两步生长优化工艺：550℃GaN(50nm)/700℃GaN(60nm)/蓝宝石,即当GaN薄膜转化为二维层状模式稳定生长时,降低薄膜的生长温度。此工艺有效提高了GaN薄膜的结晶质量及表面平整度,面外半高宽下降到0.435°,薄膜具有更好的六方面内对称性,此方法不同于AlN及GaN低温缓冲层技术。(3)在1000℃高温下LiNbO3单晶盒子中退火4小时后, LiNbO3单晶衬底表面形成台阶流并达到原子级平整尺度。退火衬底上生长的GaN薄膜具有更好的结晶质量,抑制了在GaN/LiNbO3集成中LiNb3O8相的形成,改善了Li元素较易挥发的问题。(4)650℃下GaN/LiNbO3集成时,GaN薄膜以层状模式生长,表面平整(RMS=0.97nm),面外半高宽仅为0.499°,具有良好的六方面内对称性并与LiNbO3单晶衬底以30°旋转关系外延,其外延关系为GaN(0002)[1120]//LiNbO3(0006)[1010],晶格失配6.8%。此温度下薄膜存在最少量的非掺杂N空位缺陷及本征缺陷,具有良好的光学性能。(5)通过界面能量转换、岛迁移及生长温度对薄膜缺陷的影响等理论,研究了GaN/蓝宝石、GaN/LiNbO3集成的异质外延生长及微结构控制。研究发现：大晶格失配及界面应力能转化为表面自由能驱动GaN薄膜以3D模式开始生长；GaN薄膜在生长过程中存在由3D生长模式转化为2D的过程,生长模式的转变不是由晶格失配产生的应力所导致的；岛的迁移与合并,岛边势垒的降低使薄膜表面产生足够的扩散,是生长模式从3D向2D转变的必要条件；在低温下GaN薄膜将以3D模式生长,表面粗糙,结晶质量下降；随温度的降低晶体内存在的非掺杂N空位缺陷及晶界位错等本征缺陷密度明显增加,使GaN禁带中产生浅能级施主与深能级的非本征复合,影响了GaN薄膜的光学性能。