随着水下无人化与智能化装备的快速发展,人们对水下通信的性能要求越来越高,找寻到在复杂水下环境中保持高性能传输的水下通信技术成为当务之急。水下无线光通信（Underwater Wireless Optical Communication,UWOC）因其具有高数据速率、低延迟、大容量和高安全性等优良性能引起了广泛的关注。但水下无线光通信系统的信道环境复杂,光信号在海水中传播会受到吸收、散射和湍流等海洋效应影响,这将严重降低链路的可靠性及系统的误码率性能,进而降低通信质量,阻碍水下无线光通信技术的进一步发展。因此,对如何提高水下无线光通信系统的传输性能进行研究具有重大意义。本文基于海洋湍流信道模型,深入研究了两种高传输性能的系统方案:调制-调制（Modulation-Modulation,M-M）的混合调制以及编码-调制（Code-Modulation,C-M）,并进一步分析其系统的误码性能,研究了在协同传输模式下的水下无线光通信系统的误码性能。论文具体工作如下:本论文首先总结了近些年各类调制格式在水下无线光通信系统中误码性能,同时概述了混合调制今年来发展现状。以DPSK、mPPM单个调制为例,分别分析了系统在不同海洋信道特征下的误码性能,推导出相应的理论误码公式。然后,以DPSK-mPPM混合调制和RS-mPPM编码调制为例,研究了调制-调制（M-M）以及编码-调制（C-M）两种高效调制系统方案水下误码性能。阐述这了两种模式下信号的实现过程及原理,推导了基于强海洋湍流信道下DPSK-mPPM混合调制和RS-mPPM编码调制的误码率理论表达式,并分析了在不同海洋环境下的误码性能。同时将RS-mPPM与LDPC-mPPM进行对比,分析了在不同编码下的系统误码性能。最后,将协同分集技术引入水下无线光通信系统,分析了信道特征变化对mPPM调制系统和DPSK-mPPM混合调制系统的误码性能的影响。研究结果表明,（1）在单个调制系统中,mPPM调制在高阶（即m较大）时,其系统误码性能要优于DPSK调制系统,在阶数为4时,两种调制格式的误码性能较为接近。（2）在M-M混合调制系统中,如DPSK-mPPM混合调制信号,在信道环境相同时,与单个DPSK调制信号或对应阶数的mPPM调制信号相比,DPSK-mPPM混合调制信号具有更强的对抗海洋湍流效应能力,能较好的改善系统误码性能。（3）在对C-M编码调制系统研究时发现:mPPM与RS编码结合时,系统误码性能与mPPM作用于DPSK表现的趋势是一样的。另外,mPPM-RS系统的误码性能也会随着纠错能力的提升而有较大的改善。在对mPPM-LDPC误码性能分析时发现,在mPPM阶数相同时,mPPM-LDPC信号较mPPM-RS信号具有更好的误码性能。（4）在对基于协同分集技术的水下无线光通信系统研究时发现,协同传输较直接传输具有更强的对抗信道衰落能力。