随着通信业务量爆炸式增长的需求，可用于移动通信的频谱资源日趋紧张，而高速宽带复杂多径的传输环境十分恶劣。要解决频谱资源与通信业务爆炸式增长的矛盾，就必须从理论上寻求新的创新与突破，使移动通信网络的频谱效率、用户容量有显著的提高，同时保证传输可靠性。本文的主要内容如下：（1）研究以分组码为子码的turbo乘积码的软输入软输出译码算法，及其似然比的简化算法以及硬件实现，并仿真分析turbo码和turbo乘积码的性能差异，以及两种码不同的适用场景。在研究乘积码译码算法的基础上，进一步研究比特交织编码调制方案。比特交织编码调制将乘积码与高效调制方式相结合是一种能逼近信道容量的编码调制技术。论文对其理论基础做简要分析，为进一步提高系统性能，增加分集增益，本文提出一种基于星座旋转的改进方案。并在衰落信道下仿真分析乘积码与高阶调制结合的编码调制方案。（2）研究比特交织编码调制系统一种新型的同频组网方案。该组网方案在相邻小区间使用同一频段，每个小区的频谱效率是相同的，频率重用系数为1。但相邻小区之间互补码不同，利用4阶广义互补序列区分小区。该技术利用四色小区组网原理和独创的小区分组码可将相邻小区的干扰信号完全消除，在保证频谱效率的基础上，保证传输的可靠性，性能达到领先水平。（3）针对传统的仿真方案中，纯软件仿真效率低，纯硬件仿真不够灵活的缺点提出一种基于FPGA和System Generator的硬件协仿真方案，对系统在多种参数条件下的误码性能进行硬件协仿真并对结果进行分析。硬件协仿真系统不仅仿真速度快，使用灵活方便，结果易于观察，而且仿真可靠度高，仿真结果向商用系统转化周期短、代码可重用度高。