多输入多输出(MIMO)技术能够在不增加系统带宽和发射信号功率的条件下获得较高的谱效率和较高数据传输可靠性。但是MIMO技术又有自己的不足,存在着天线同步和天线间干扰等问题。特别是在多径衰落环境下,由于同时存在天线间干扰和符号间干扰,其信号检测问题变得异常复杂。空间调制是一种新型的多天线复用技术,由于每次仅采用单根天线发送信息,空间调制避免了其他多天线技术的天线间同步和天线间干扰等问题。将空间调制的原理应用到正交频分(OFDM)系统中,得到的OFDM指数调制(IM)相比传统的OFDM系统具有更好的性能。本文首先提出了两种将OFDM-IM从单天线系统推广到多天线系统的方法。第一种方法是在每根天线上直接采用OFDM-IM,得到的结构称为并行MIMO-OFDM-IM。第二种方法是在子载波和天线构成的联合信号空间上采用IM,得到的结构称为联合MIMO-OFDM-IM。和其他MIMO-OFDM结构相比,两种方法的性能通过计算机仿真得到了验证。特别的,在高移动场景下,联合MIMO-OFDM-IM信号由于在天线和子载波维度上同时具有稀疏性,因此能够更好地同时克服天线间干扰和多普勒造成的子载波间干扰,相比并行MIMO-OFDM-IM具有更好的性能。其次,本文研究了基于零填充(ZP)的单载波SM系统在频率选择性衰落信道上的信号检测。提出了一种改进的基于串行干扰抵消的部分干扰抵消接收机(PIC-R-SIC)。具体的,利用信道矩阵的Toplitze结构对PIC-R-SIC算法中信号处理维度进行了降低,提出了缩短的PIC-R-SIC(S-PIC-R-SIC)算法。进一步,提出了M算法应用到S-PIC-R-SIC中的S-PIC-R-SIC-M算法,以改善S-PIC-R-SIC算法的性能。