随着人类活动向太空领域迈进,星间光通信技术在科学研究、国防军事和商业通信等方面表现出了潜在的应用价值,引起了人们的广泛关注。与传统的射频及微波通信相比,激光通信终端结构轻巧、发射功率低、带宽高、抗干扰能力强以及保密性好,是一种理想的通信手段。由于星间激光通信链路超长,光束发散角一般在微弧度量级,为了保证较好的通信性能,对发射光束质量要求很高。然而受外太空复杂环境及光学元器件加工精度和装调误差等不利因素的影响,发射光束会出现波前畸变,破坏光束质量,降低系统通信性能。此外,发射系统天线尺寸和发射功率受限,也制约着系统通信性能的提高。针对上述问题,本文采用小波分析方法建立了多样化波前畸变的理论模型。并以此为基础,分析比较了采用不同调制方式的系统在受畸变影响时各自的性能表现。主要研究内容如下：首先,利用小波分析方法分别对反射式和透射式光学天线系统的波前畸变进行模型分析,建立了畸变深度、面积和位置因素与小波的系数因子、伸缩因子和平移因子之间的对应关系。根据光传播理论,给出了接收平面光强分布与小波各参数因子之间的表达式,从而实现波前畸变对接收平面光强分布的影响分析。其次,在对波前畸变与系统性能的研究中往往忽略了探测器噪声。此时,为了获得更好的通信性能,文中选取了OOK、DPIM和PPM三种调制方式进行比较。分别给出了三种调制方式下,系统误包率与反射式和透射式天线系统上畸变深度、面积和位置之间的表达式,分析了畸变加深,畸变区域变大,畸变靠近天线中心位置时系统误包率相应的变化规律。并进一步分析了对于同一畸变系统分别采用OOK、DPIM和PPM调制时误包率的表现。最后,在考虑探测器噪声影响时建立了OOK、DPIM和PPM调制系统各自误包率与反射式天线畸变的深度、面积和位置之间的关系。分析了误包率随畸变深度、面积和位置的变化规律。并给出了此时OOK、DPIM和PPM调制系统在误包率方面的比较结果。相对较低的复杂度和多样化小波基使得小波分析方法在对波前畸变的研究中具有优势。而相较于简单的OOK调制方式,DPIM和PPM调制方式具有更高的功率利用率,且在系统误码率上也表现更优。本文工作有望对星间光通信系统中元器件及调制方式的选取提供理论基础,进而实现系统性能的优化。