本文的研究着眼于新一代无线通信系统的无线传输技术，着重在提高频谱利用率，以及尽可能的降低发射信号的功率方面做了一些研究。具体研究了信道的编译码技术，频率选择性衰落信道下的多天线频域均衡技术以及频率平坦衰落信道下的空时迭代检测和译码技术。本论文的主要工作如下： 本文的第二章主要从无线通信系统仿真的角度讲述无线通信信道的特性。复杂、恶劣的传播条件是移动信道的特征，这是由运动中进行无线通信这一方式本身所决定的。要有效地克服衰落的不利影响，就必须采用各种抗衰落技术，包括分集、扩频/跳频、均衡和纠错编码等。另外，信号的传输方式，如调制方式，也要作出适当的变化。而要研究移动信道中数字传输技术和各种信号处理算法，首要的工作就是深入了解移动信道本身的特征。 本文的第三章研究编码技术，在前人研究成果的基础上，为了模块化地对此级联码进行迭代译码，提出了一种模块化的软输入软输出四端口处理模块，此模块可用来处理非RSC卷积码为子码的级联码，并且可以提供码字和信息比特的软信息输出，是一种模块化很强的处理模块，可用于传统的Turbo码的迭代译码，尤其在迭代均衡和迭代检测的系统中并把它运用到B3G的系统设计中。把串行级联的Turbo码和并行级联Turbo码的优异性能结合起来，提出了2×2的Woven码的方案。为了验证Woven码的性能，除了在AWGN信道下进行了仿真之外，还建立了一个简单的基于多码道，多时隙的B3G的基本模型，研究了多接收天线的接收性能，并给出了空时联合信道估计的方法，理论分析和仿真结果表明，提出的2×2Woven码以适当的复杂度的代价换取具有低的误码平底的效果。 本文的第四章首先讨论了单载波系统和多载波系统的比较，继而回顾了单天线系统中的频域均衡技术，比较了不同频域均衡方案的性能，在不采用编码的系统中，OFDM等效于多个并行的平坦衰落信道，在编码的系统中，OFDM才提供频率分集增益。采用判决反馈的单载波频域均衡方案，可以提供比编码的OFDM还好的性能。接着给出了多天线系统中的频域均衡方案，采用类似Alamouti的分块的空时结构，提出了多发多收的频率选择性信道下的频域均衡方案，该方案可以提供满分集增益，利用FFT的快速算法，具有低复杂度。并给出了在理想信道估计和理想信噪比估计下的多发多收的单载波的频域均衡系统的性能。 本文的第五章研究了空时系统中的检测和译码的联合迭代结构，首先研究了分层空时系统的检测算法，接着探讨了单天线系统中的检测和译码的联合迭代问题，从信息论的角度出发，利用外部信息传递(EXIT)的方法，研究了外部信息的传递以提供误比特曲线瀑布区和误码平底的折中。最后把单天线的迭代检测和译码扩展到多天线系统下，提出了检测和译码的联合迭代结构，仿真结果表明，在频率平坦衰落信道下，通过联合检测和译码，系统可以提供较高信道容量的性能，这种结构可以推广到频率选择性衰落信道下。