多输入多输出系统(Multiple Input Multiple Output,MIMO)通过在发射端和接收端配置多根天线来达到较高的频谱效率,而空间调制系统(Spatial Modulation,SM)是新提出的一种MIMO技术,因其具有诸多优良的特性,已受到广泛的关注。相对于传统MIMO技术,空间调制技术利用了空间维度信息,在每个时隙内只有一根天线被激活用来发送数据,因此能很好的避免天线间干扰和同步问题,并且通过将一部分发送信息隐藏于发射天线序号中,保证了系统频谱利用率。另外,其检测算法相对简单,且适应于接收天线数小于发射天线数的情况。论文主要对空间调制系统的信号检测算法进行研究。论文首先对空间调制系统中经典的信号检测算法进行研究,并对比分析了每种算法的优缺点。M-SVD是基于信号向量(Signal vector based detection,SVD)的改进算法,该算法通过引入候选天线的概念来提高误码性能,论文在深入分析M-SVD算法的基础上,针对M-SVD算法的不足,提出一种R-SVD算法,算法借鉴球形译码检测算法的思想以减少最后一步联合检测过程中搜索的次数,从而降低算法复杂度。仿真分析结果表明,提出的R-SVD算法在保持原算法误码性能的同时降低了算法复杂度。通过对M-SVD算法的进一步研究,针对采用M-PSK调制的空间调制系统,利用星座图的性质来对发射天线序号检测过程及算法进行优化,提出了MPSK-SVD算法。仿真分析结果表明,在候选天线数相同的情况下,MPSK-SVD算法相对M-SVD算法具有较好的误码性能增益,且在较少候选天线的情况下,误码性能接近ML。在发射天线数相同的情况下,广义空间调制系统比空间调制系统传输效率更高,且发射天线数不再受限为2的幂次方,论文将提出的R-SVD、MPSK-SVD两种算法推广应用到广义空间调制系统中,仿真结果表明,算法在广义空间调制系统中也表现出良好的性能。