空间调制(Spatial Modulation,SM)是一种有前途的多输入多输出(Multiple Input Multiple Output,MIMO)技术,SM在每个时隙仅激活一根天线用于数据传输,同时天线的索引也以隐式方式传送附加信息比特。与诸如空间复用方案和重复码的传统MIMO方案不同,SM的天线激活模式能够降低信道间干扰(Inter-Channel Interference,ICI)以及避免天线间同步(Inter-Antenna Synchronization,IAS)问题。因此,在比特错误率(Bit Error Rate,BER)和能量效率方面,SM可以在现有的MIMO系统上实现显著的性能提升。本文主要比较分析空间域上的索引调制即空间调制及其改进系统的性能,如广义空间调制(Generalized Spatial Modulation,GSM),差分空间调制(Differential Spatial Modulation,DSM)。最终总体优化目标是要在保证传输效率的同时降低系统误码率。本文首先针对非相干空间调制系统(Non-Coherent Spatial Modulation,NCSM)差分检测的性能损失问题,提出一种新的功率分配概念应用于非相干空间调制系统的方案。为了验证所提出方案的优越性,对传统幅度相移键控(Amplitude phase shift keying,APSK)星座下的NCSM系统以及所提方案的系统进行了蒙特卡罗模拟仿真实验,同时推导出上述两个系统的平均误符号率公式,从理论上证明其仿真结果的正确性。另外还研究了APSK星座的优化问题,通过公式推导给出了优化后的星座参数。最后仿真实验的结果证明,所提出的新APSK功率分配非相干空间调制系统方案(Power-NCSM,P-NCSM)的误码率性能优于传统的基于APSK的非相干空间调制系统。随后针对GSM系统信号传输矩阵由于不具有酉特性和封闭性的性质,造成无法实行传统差分检测的问题,提出了一种差分广义空间调制方案(Differential-GSM,D-GSM)。首先通过理论性能分析推导出D-GSM以及GSM系统的平均误比特率公式,并利用蒙特卡罗方法模拟出对应的仿真结果,从而对比两者间的误码率性能。接着通过设置不同的参数仿真出D-GSM系统的误码率性能变化。其次分析了两个系统的复杂度,推导出其公式,并在实验中设置不同的参数进行仿真对比。最后仿真实验的结果表明,D-GSM系统随着发送帧的长度增加,误码率性能接近具有相等频谱效率的相干GSM检测器的误码率性能,且具有更低的检测复杂度。