编码调制技术是一种将信道编码与调制作为一个整体联合进行设计的差错控制技术,以期同时获得分集增益和编码增益,从而提高通信系统的传输频谱效率和功率谱效率。低密度奇偶校验(LDPC: Low-density parity-check)码相对于Turbo码的优异的译码性能和具有高译码吞吐量的可能使其成为当前主流通信系统(如无线系统,有线通信系统,深空通信系统,卫星通信,存储系统等)的几种信道编码之一,本文主要研究目前具有广阔应用前景的IEEE802.16e系统。为了提高传输效率,同时获得较高的编码增益,可以考虑将LDPC码与具有高频谱效率的调制方式相结合。在深刻理解LDPC码的原理和其有效编译码算法的基础上,本文通过研究基于LDPC码的编码调制系统,搭建了高斯信道下LDPC码与QAM高阶调制相结合的比特交织编码调制(BICM:Bit Interleaver Code Modulation)系统模型和LDPC与QAM高阶调制相结合的多级编码调制(MLC:Multilever Code Modulation)系统模型。通过研究高阶调制的不等错误保护特性(UEP:Unequal Error Protection),进行了基于MLC系统的信号集分割方案以及分量码的设计。基于对高阶软解调的深入研究,提出了一种降低复杂度的近似解调算法,仿真结果表明其性能接近于标准解调算法。在基于LDPC的编码调制系统中,由于信道中的相位噪声(Phase Noise)会引起接收信号星座点的旋转和模糊,从而引起接收信号的失真。本文从解调方案着手,给出了一种改进的高阶软解调方案,改变解调的判决区域,来降低相位噪声带来的不良影响。此解调方案应用于BICM系统仿真实现并达到了很好的效果。基于相位噪声信道下MLC系统解调方案的研究将是今后的主要方向。