无线通信最近20年在移动通信发展的推动下,经历了空前的繁荣,随着第三代(3G)移动通信系统的商用,以及第四代(4G)移动通信系统研发的推进,无线通信仍将继续成为通信行业中最具发展前景的领域之一。目前无线通信在互联网的无线接入和多媒体应用领域的高速发展对无线传输的质量和速率提出了很高的要求,如何利用高效的信号调制与编码技术来提供高速率高质量的数据传输依然是现代通信领域研究中的热点。本文在对下一代无线通信系统调制与编码的关键技术进行系统、全面的研究基础之上,重点对低密度奇偶校验(Low Density Parity Check, LDPC)码、低密度格形码(Lowdensity Lattice Codes, LDLC)和正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)系统等领域中的一些关键技术分别进行了深入的讨论,本文所完成的主要工作如下：(1)针对二进制删除信道(Binary Erasure Channel,BEC)下的LDPC码译码,提出了可恢复变量集合,可恢复变量的概念。当Peeling译码器停止译码时,尝试得到可恢复变量,使得译码过程能够继续进行。为了更加高效的找到可恢复变量,又提出了环可恢复集和环可恢复变量,利用LDPC码中的环定位技术,可以快速有效的定位环可恢复变量,仿真结果表明,该方案有效的提高了Peeling译码器的性能。(2)在LDLC的译码中,最复杂的步骤在于校验节点端消息的处理,本文在深入分析了LDLC的迭代译码原理后,针对校验节点端卷积,伸展,周期性扩展等步骤,提出了一种高效的实现方法,并仿真实现其译码过程,验证了其接近于近似容限的性能,仿真结果显示本文提出的高效方案使得译码时间有效的减少。(3)在提出LDLC的文献中,作者给出了一种构造围长为6的LDLC校验矩阵的方法,这种方法在消除原有长度为4的环的同时,有可能产生新的长度为4的环,因此需要反复的检测、删除,所需时间较长。本文基于预备序列进行循环移位,再进行随机化的方法,提出了一种新的构造LDLC的方法。仿真性能表明围长为6的LDLC码构造时间远远小于原文中提出的方案,围长为8的LDLC码性能优于原文中的围长为6的方案。(4)针对OFDM系统中的高峰值平均功率比(Peak to Average Power Rate, PAPR)问题,提出了一种基于星座映射选择改善高阶正交频分复用信号峰值平均功率比的方案,针对这种映射方案提出了一种基于格栅搜索的简化算法。不规则重复累积码(IRA)是一种高效的接近信道容限的编码方法,将IRA与OFDM结合的系统可以有效的提高通信系统的性能。针对IRA-OFDM系统,提出了一种通过在IRA变量节点中设置平衡序列降低PAPR的方案。平衡序列的取值采用反馈译码的原理,以非周期自相关函数作为度量进行选取。仿真表明这两种方案都不仅能够有效降低正交频分复用系统的峰均功率比,并具有较低的复杂度和较好的实用价值。