未来移动通信系统的核心业务是要提供高速率数据的可靠传输,而调制和信道纠错编码技术则是实现这一目标的两个关键技术。高阶调制由于有庞大的星座图和译码复杂,限制了其在无线通信中的应用。同时,而在移动通信系统中,信道带宽有限和多径效应是导致ISI的两个主要因素,相应地导致检测端的高误码率,为提高通信质量,减小码间干扰,在接收端通常用均衡技术抵消信道的影响,均衡是失真信道下信号有效传输必须解决的技术问题,迭代均衡因联合了均衡与译码,得到了广泛的关注和研究。分层调制是对发送信号进行不均等保护的有效方式,但目前对其研究并不太深入。本文对分层QAM调制进行研究,为提高系统性能,降低算法复杂度,迭代均衡算法已经有了很多研究成果,迭代均衡被广泛应用在各种通信系统里面,因此对迭代均衡应用的研究是非常有意义的工作。本文的重点是研究迭代均衡技术,并将迭代均衡技术应用到用分层调制实现高阶调制的系统上面。本文对已有的分层调制和迭代均衡基础理论研究成果做了详细的总结。对于单载波系统,在本文研究中,信道编码主要采用了纠错码性能极好的LDPC编码,将复杂度较低,性能较好的MMSE算法的均衡器和译码器相结合,形成LDPC的迭代均衡接收机,并将算法扩展到任意进制的QAM调制上面,实现高比特速率的高质量的传输。本文以使用分层调制的通信系统为背景,采用LDPC编码,构成速率可调的通信系统,并针对采用格雷映射4QAM的分层调制构成的高阶信号为例,推导了均衡器外信息的计算方法,并提出一种较为新颖的方法,采用了用于分层调制思想的分层均衡技术,从而使得高阶调制均衡的计算量大大的降低。虽然,已经有一些工作使得高阶调制在迭代均衡系统中得到应用,但是系统性能不太理想或是系统复杂度太高,本文提出的分层迭代均衡方法解决了迭代均衡系统中采用高阶调制系统复杂度高的问题,并通过仿真表明新的分层迭代均衡算法不仅可以用在分层调制构成的高阶信号上面,而且与传统标准迭代均衡相比,在不损失系统性能的前提下,大大降低了高阶调制的均衡器外信息的复杂度。本文的研究对迭代均衡技术在无线通信中的应用有重要的意义。