针对传统空间调制（Spatial Modulation,SM）技术频谱利用率低、发送天线数必须为2的幂级数等问题,广义空间调制（Generalized Spatial Modulation,GSM）技术可同时激活多根天线以发送不同的调制符号,从而弥补了SM技术的不足。同时,GSM系统通过调整激活天线数目,使得系统可以在部署成本和频谱效率之间取得更好的折中。因此,GSM技术成为第五代移动通信系统（5th-Generation,5G）的热门候选技术之一。在传统的GSM信号检测算法中,最大似然（Maximum Likelihood,ML）检测作为最优检测算法,但其需要遍历搜索所有可能的激活天线和调制符号组合,其复杂度随天线数和调制阶数呈指数规律增长,故难以应用于实际系统中。线性检测算法与ML算法相比,其复杂度得到显著降低,但其检测性能损失也非常明显。鉴于此,本文以GSM系统作为研究对象,深入研究了GSM信号的检测算法,具体工作内容和创新点如下:1.GSM介绍及经典检测算法总结阐述了SM技术和GSM技术的基本原理和系统模型,在此基础上对常见的信号检测算法进行了总结。具体地,针对SM系统,介绍了包括ML算法、最大比合并（Maximum Ratio Combination,MRC）检测算法和归一化最大比合并（Normalized MRC,NMRC）算法;针对GSM系统,介绍包括线性检测算法、基于格基约减的检测算法和QRD-M检测算法。同时对各种算法进行了简要的数值仿真和对比。2.基于改进正则化正交匹配追踪（Regularized Orthogonal Matching Pursuit,ROMP）算法的GSM信号检测针对正交匹配追踪（Orthogonal Matching Pursuit,OMP）算法存在选择错误激活天线索引的问题,给出了一种低复杂度的ROMP检测算法。在该算法中,首先根据信道矩阵和当前残差的内积选取多个候选激活天线索引,然后对多个候选激活天线索引按正则化标准进行可靠性验证,剔除错误索引,缩小信号搜索空间,最后通过求解最小二乘问题估计信号。仿真结果表明:该方法与OMP算法相比,在牺牲少许复杂度的情况下极大提升了检测性能,能够在检测性能和复杂度之间取得更好的折中。3.基于近端梯度算法的大规模多用户GSM-MIMO信号检测在大规模多用户GSM-MIMO信号检测中,ML算法复杂度极高,而基于稀疏重构的算法性能损失则非常严重,于是,文中给出了一种近端梯度检测算法。在该算法中,将GSM信号检测中非凸₀l范数优化问题转化其最优凸近似,即带₁l范数惩罚项的最小二乘问题,并结合梯度下降法的思想,理论分析并推导出迭代计算解向量的过程。仿真结果表明:该算法与迫零检测（Zero forcing,ZF）算法和基于稀疏重构的压缩采样匹配追踪（Compressive Sampling Matching Pursuit,CoSaMP）算法相比,检测性能有一定的提升。