MIMO技术最初由贝尔实验室提出,是一种改变通信产业面貌的突破性技术。分层MIMO系统以提高系统传输速率为主要目标,综合采用了先进的纠错码技术和信号检测技术,具有克服现有系统传输瓶颈的能力,是当前MIMO技术最主要的一种应用方式。本文以分层MIMO系统的接收处理技术为研究对象,对其所涉及的几个关键问题,即无线衰落信道的仿真方法、外部信息转移函数的计算方法、分层MIMO系统的低复杂度迭代接收方法以及LDPC码的构造方法进行了研究。作者的主要工作可以概括为：1.针对Jakes信道仿真器无法产生多个不相关衰落信道的缺点,提出了一种基于主径／子径划分的谐波叠加衰落信道仿真方法。该方法将多径称为主径,将主径进一步划分为四条子径,主径参数随机产生且互不相关,而同一条主径内部的四条子径具有固定的参数配置。在这种参数配置下,该主径／子径划分方法在谐波数目很少的情况下就可以产生满足Clarke参考模型的不相关衰落信道。2.分析了EXIT函数的两种计算方法——直方图法和直接求均值法的特点。在此基础上,给出了直接求均值法的适用条件。同时,针对直方图法在计算EXIT函数时,所得结果的精度受直方图间隔宽度影响的问题,采用基于数据的最优直方图改进了原有的方法。这种最优直方图可以根据对数似然比数据自适应地选择最优的间隔宽度,进而获得精确的EXIT函数。同时,这种方法使直方图统计和EXIT函数的计算一体化完成,无需人为选择参数,从而简化了计算过程。3.针对列表序列(LISS)算法计算复杂度较高的问题,提出了选择性扩展LISS算法。该方法在进行检测树扩展时,利用先验信息从星座图中选择部分可能性较大的节点进行扩展。与原始的LISS算法相比,由于扩展节点的大量减少,使计算复杂度大为降低。此外,由于充分利用了先验信息,使选中进行树形扩展的节点具有很高的可信性,因此在性能损失不大的情况下可以明显降低检测方法的计算复杂度。4.以EXIT图作为主要的分析工具,分析了分层MIMO迭代接收系统中的MIMO检测器、纠错码译码器的外部信息转移特性。根据EXIT图的分析结果,对混合检测方法以及Turbo码的内部迭代译码进行了优化。在整体误码率损失0.1-0.3dB的代价下,优化后的方法使整个迭代接收系统的计算量减少了约1/3。5.提出了渐进边增长算法的两种基于平衡搜索树的快速实现方法。与基于标志位的实现方法相比,基于平衡搜索树的方法在进行Tanner图树形展开过程中动态跟踪校验节点分层结构的变化。这样只需在建立到根节点的第一条连接边时进行Tanner图的树形展开,从而大大降低了计算复杂度。其中基于平衡搜索树数组的方法,将基于到根节点距离的排序和基于连接度的排序解耦,进一步降低了计算复杂度。这两种基于平衡搜索树的方法均可以实现长随机LDPC码的快速构造。