宽带无线通信系统的发展面临频谱资源有限、传输环境复杂等挑战,而MIMO和高性能信道编码等物理层关键技术可以有效应对宽带无线通信系统的传输速率与传输质量需求,因此该方面的研究工作十分必要和迫切。MIMO技术在不增加发射功率和信道带宽的前提下,可以显著提高无线通信系统的传输增益和传输速率,具有广泛的应用前景；而多进制LDPC码的抗随机错误能力和抗突发错误能力均优于二进制LDPC码,为当前信道编码领域性能最优的一种编码方案,具有非常高的理论研究意义和工程应用价值。本文以MIMO技术和多进制LDPC码为对象,研究了多进制LDPC码的构造算法,基于多进制LDPC码译码反馈的MIMO迭代检测技术以及MIMO与多进制LDPC码的级联系统设计方法。首先,介绍了MIMO技术和多进制LDPC码的基本原理。针对MIMO技术,介绍了其信道模型,分析了其信道容量,并详细阐述了MIMO的分集技术与复用技术。针对多进制LDPC码,介绍了其基本概念、矩阵描述与图模型描述,给出了具有快速编码特性的校验矩阵结构和相应的快速编码算法,并介绍了三种基本的译码算法。其次,研究了准循环(QC)多进制LDPC码的构造流程,重点研究了多进制LDPC码的最优度分布选取、QC多进制LDPC码的母矩阵扩展以及扩展后的二进制矩阵中多进制元素的替换。为了获得多进制LDPC码的最优度分布,本文提出了基于统计的多进制LDPC码的密度进化算法,用于指导SeIRA QC多进制LDPC码的构造。在QC多进制LDPC码的母矩阵扩展时,综合考虑了环长与环的连通性对于译码性能的影响。为了进一步降低误码平层,研究了多进制元素的替换,在前人研究基础上推导得到新的替换准则,从而与环的形成条件相统一。从构造结果可以看出,本文提出的QC多进制LDPC构造方法具有良好的效果。接着,研究了基于多进制LDPC码译码反馈的MIMO软判决迭代检测技术,重点研究了两种低复杂度的软判决迭代检测算法,分别为MMSE和JGA软判决迭代检测算法。为了进一步提升系统性能,本文研究了基于LLR排序的连续干扰消除(SIC)机制和迭代干扰消除(IIC)机制,并将IIC机制应用到MMSE和JGA软判决迭代检测算法中,提出了基于IIC机制的MMSE和JGA软判决迭代检测算法。针对检测算法中矩阵求逆运算复杂度过高的情况,本文研究并提出了IIC-MMSE和IIC-JGA软判决迭代检测算法的简化算法,系统性能具有一定损失,但是检测器矩阵求逆运算复杂度大大降低。本文还将IIC-MMSE和IIC-JGA软判决迭代检测算法推广至MIMO多径信道,将码间干扰消除引入到检测器的干扰消除中。多径信道下的IIC-MMSE和IIC-JGA软判决迭代检测算法具有更高的检测复杂度,因此本文研究并提出了这两种算法的简化算法,在损失一定系统性能的前提下,检测器中矩阵求逆运算部分的计算复杂度大大降低。通过选取合适的简化参数,可以得到性能与复杂度折衷的检测算法简化方案,用于MIMO迭代检测系统中。最后,研究了MIMO与多进制LDPC码的级联系统设计方法,重点研究了基于多进制LDPC码元符号解调的MIMO检测算法、低检测复杂度的映射策略以及检测算法的简化算法。检测算法采用MAP准则,检测器可直接输出多进制LDPC码元符号软信息,用于多进制LDPC码的迭代译码。针对多进制LDPC码有限域阶数与系统映射阶数不匹配且同一码元符号映射到不同MIMO发送向量中的情形,本文提出了两条低检测复杂度、高检测性能的映射策略。针对该映射策略,本文提出了检测算法的简化方案,大大降低了检测算法复杂度,同时系统性能几乎没有损失。