传统正交多址接入技术中,用户在无线资源（时间、频率、空间、码序列）上具有独占性,导致了系统总容纳传输用户数受无线资源的可分粒度限制,不能进行弹性扩展。同时,随着编码调制技术的逐步演进,点到点单链路的频谱效率已逐步逼近香农极限。因此,在给定的频谱资源下,正交多址接入系统的网络总频谱效率和系统容量已难以提升。为谋求系统整体容量的提升,近几年来,以稀疏码多址接入技术（Sparse Code Multiple Access,SCMA）为代表的新型非多址接入技术和多天线技术（多输入多输出技术,Multiple-input Multiple-output,MIMO）广受关注。其中,SCMA在频谱效率提升,用户连接能力增强以及空口传输时延降低等方面相比正交多址接入技术具有明显的技术优势;而MIMO技术通过空间资源的利用可在不增加传输带宽和发射功率的条件下有效提高系统容量,目前已被长期演进技术、IEEE802.11、IEEE802.16以及5G新空口等多个技术标准使用。多天线稀疏码多址接入技术通过结合MIMO和SCMA,具备高频谱效率、高可靠性以及大连接密度等优势,可以更好满足未来通信系统对上述指标的要求。然而,多天线稀疏码多址接入系统也涉及到复杂的多用户信号检测问题,给系统实际应用带来了很大困难。为此,本文围绕多天线系统的三种常用架构——空间复用、空间调制和空间分集对稀疏码多址接入系统的信号检测问题展开了深入研究,并取得如下成果:1.针对空间复用MIMO-SCMA系统,研究了一种适用于SCMA多维码字检测的信道矩阵块排序QR分解算法（BQR）,并在此基础上基于BQR和最小均方误差BQR（MMBQR）分别提出了BQR-SD和MBQR-SD球形检测算法。相比于现有SCMA球形检测算法,BQR-SD同样可取得理论最佳检测,并极大降低了复杂度。MBQR-SD则在BQR-SD基础上进一步降低了复杂度,但只对恒模码本具备理论最佳检测性能。基于MBQR,论文还研究了宽度优先的树搜索检测算法,并提出了一种基于半径约束的RC-MBQR-KBest算法。RC-MBQR-KBest基于并行搜索利于硬件实现,在较小性能损失情况下可取得复杂度的显著降低。2.针对空间复用MIMO-SCMA系统,研究了在Polar码编码下的迭代接收技术,并基于消息传播算法和软输入软输出MBQR-SD算法分别提出了JIDD-MPA和JIDD-SD联合迭代检测译码算法。论文详细地分析了迭代检测译码算法内部的消息传递过程,引入阻尼因子并通过半定量理论分析工具——EXIT图,对阻尼因子进行了优化设计,以此进一步提升检测性能。复杂度分析和性能仿真结果表明,JIDD-SD性能略优于JIDD-MPA,同时复杂度更低,但是JIDD-SD要求接收天线数不小于SCMA码字稀疏度和发送端天线数的乘积,适用于大规模天线场景。JIDD-MPA则没有接收天线数限制。相比于分离检测译码方案,JIDD-MPA和JIDD-SD都显著提升了检测性能。3.针对空间调制系统,研究了基于空间调制的SCMA方案（SM-SCMA）设计,并提出了一种可对天线索引和符号索引进行联合检测的消息传播检测算法（MPA）。复杂度分析和性能仿真结果表明,基于MPA,SM-SCMA可实现比传统基于多天线复用的MIMO-SCMA更优的可靠性和更低的检测复杂度。然而,SM-SCMA的MPA检测算法的复杂度仍与发送天线数和SCMA多维码本星座点数呈多项式关系。为进一步降低SM-SCMA的检测复杂度,论文基于高斯近似思想,提出了一种基于高斯近似的消息传播检测算法（GAMPA）。复杂度分析结果表明,GAMPA的复杂度仅与发送天线数和SCMA多维码本星座点数呈线性关系;同时,性能仿真结果表明,GAMPA在低系统负载时,基于JIDD联合迭代检测译码方案可实现与MPA近似的可靠性能。4.针对空间分集系统,研究了多维空时块码字（MSTBC）设计,以利用发送多天线的分集增益来提升多天线下行SCMA系统的可靠性。论文推导了全速率全分集MSTBC的设计准则,设计了发送天线数分别为2和4时,单SCMA符号可译的两个全分集全速率MSTBC码字。通过分析两个码字编码下MIMO-SCMA系统的理论性能,进一步证明了两个MSTBC码字的全分集特性。理论分析和仿真结果表明,MSTBC编码的SCMA系统的检测复杂度近似等同于单天线SCMA系统的检测复杂度,且其可取得全发送天线增益。