进入21世纪以来，中国的无线通信技术正在以前所未有的速度向前发展。下一代通信系统以高速宽带为主要特征，为此系统的设计应尽量满足更大的容量、更高的频谱效率、更可靠的传输质量。要求纠错编码方案具有高效、不展宽频带的特点，因此编码和调制相结合方案具有特殊的意义，逐渐成为无线通信领域研究的一个重点。本论文主要研究网格编码调制(TCM)技术，首先介绍了网格编码调制技术的基本原理，针对不同的编码器类型和调制方式，构建不同类型的网格编码调制系统。从一般到特殊，详细介绍系统的设计方法和工作原理。在仿真过程中对现有的算法进行合理优化，获得更大的编码增益。随着Turbo码的提出，Turbo码与网格编码调制结合的方案日益得到关注。本文介绍两类Turbo TCM方案，并对采用不同方案的系统进行仿真，由仿真结果可知：对于本文中所采用的Turbo码与TCM相结合的方案可以在低信噪比条件下发挥良好的性能。通过综合比较不同方案的性能，为今后的系统实现做理论指导。除了物理层的信道编码技术之外，在本文中考虑了数据链路层的重传技术，并将它与网格编码调制相结合。构建基于级联Turbo TCM的混合自动请求重传(HARQ)系统模型，将传统HARQ系统中的前向纠错编码与调制部分用级联Turbo TCM取代，详细阐述了系统的重传工作机制。并对系统接收端的信号恢复处理方式进行改进，给出了改进后的系统性能仿真结果。由此可知通过重传和符号比特重排，在接收端可以降低码合并处理方式的复杂度，并获得可观的性能改善。