相比传统射频通信,可见光通信具备频谱资源丰富、高保密性、实现成本低等优势,已经成为下一代无线通信网络中极具发展前景的技术之一。正交频分复用技术因具备抵抗多径衰落以及减少符号间干扰的能力,已被广泛应用于可见光通信系统,因此许多光正交频分复用方案相继被提出。然而,在可见光通信混合调制技术中,光正交频分复用方案面临系统复杂度高以及抗非线性能力差等问题,限制其推广与应用。在此背景下,如何依据可见光通信系统中正交频分复用信号特点来优化设计通信系统及提升性能成为一个重要研究方向。本文主要针对可见光通信中混合调制技术的优化设计和性能提升展开研究,其具体研究内容及贡献如下:第一,提出基于三层信号传输的混合非对称裁剪光正交频分复用调制方案。发射端通过时域变换构建非对称裁剪光正交频分复用信号,传统脉冲幅度调制离散多音频信号按照特定规则分成两路进行传输。接收端通过时域处理恢复非对称裁剪光正交频分复用信号,而后重构其裁剪噪声,从原始混合信号中恢复出两路脉冲幅度调制离散多音频信号。相比传统混合非对称裁剪光正交频分复用方案,所提方案中噪声重构过程使用较少次数快速傅里叶逆变换操作,因此接收端复杂度降低。实验仿真结果显示所提方案误码率性能和混合非对称裁剪光正交频分复用方案相近,但峰均功率比性能提升约0.6d B。此外,所提方案在非线性条件下误码率性能也更加优越。第二,提出基于时域处理的低复杂度混合脉冲幅度调制离散多音频调制方案。发射端三路脉冲幅度调制离散多音频信号均只需要一次N2点快速傅里叶逆变换操作即可完成频域至时域变换过程,而后依据不同时域对称性质构建待传输的三路信号。接收端利用特定对称性质通过时域处理来重建三路脉冲幅度调制离散多音频信号。由于接收端在信号时域处理中去除裁剪噪声,从而避免噪声消除步骤。因此,所提方案发射端和接收端复杂度相比传统混合光正交频分复用方案显著下降。实验仿真结果表明,所提方案误码率性能与混合非对称裁剪光正交频分复用方案以及时域裁剪噪声消除方案相近,但峰均功率比性能相比这两种方案提升约0.9d B。第三,提出基于无干扰的混合脉冲幅度调制离散多音频调制方案。发射端分别通过调制奇数子载波的实部和虚部,序列为4m+2的子载波虚部以及序列为4m的子载波虚部形成四路信号传输信息。由于四路信号的裁剪噪声均落在未利用的子载波资源,即信号混合传输互不干扰。因此接收端仅仅需要一个标准正交频分复用信号解调器,即所提方案接收端复杂度相比传统混合光正交频分复用调制方案显著降低。实验仿真结果表明,所提方案峰均功率比性能相比混合非对称裁剪光正交频分复用方案和无干扰混合光正交频分复用方案分别提升约1.6d B和0.6d B。此外,仿真结果同样表明所提方案在非线性条件下误码率性能明显优于另两种方案。