多输入多输出(Multiple Input Multiple Output,MIMO)技术通过在系统发射端和接收端配置多根天线,可以为无线通信传输提供更高的系统容量和可靠性,是无线通信领域的重要研讨课题,但现有的MIMO传输技术存在结构复杂和实现成本高等局限。近年来,一种低复杂度﹑低成本的新型的MIMO传输技术——空间调制(Spatial Modulation,SM)技术被提出。在SM中,发射端的每个时隙仅有一根天线用于传输数据符号,因此能够有效地避免天线之间的同步和符号干扰问题,并且通过空间维度携带信息让系统的频谱效率得到一定的保证。空间调制技术一方面能够简化MIMO结构以及降低MIMO实现的成本,另一方面也能满足未来通信系统多样化的链路配置要求。此外,该技术还适用于发射天线数远大于接收天线数的非对称信道下的多天线系统。本文首先对SM系统的误码率性能优化方法进行研究,包括天线选择及新型比特-符号映射方法,并回顾了MIMO系统中的天线选择的基本模型及几种典型的天线选择算法。紧接着讨论了SM系统中的发射天线选择问题,提出了适用于大规模天线阵列的SM系统的天线选择算法,并在此基础上进一步提出了低复杂度的改进算法。其次,从接收星座图的特性角度出发,提出一种适用于SM系统的新型混合比特映射方法,并从理论分析和仿真两个方面证实了所提算法的有效性。其次,本文对空间调制系统天线资源优化的技术进行了研究,提出了一种改进的空间调制传输方案,该方案在天线数减少且不为2的幂次方的情况下不降低系统的传输效率。在此基础上,提出了一种空时编码辅助的新型的空间调制传输方案,将节省下的天线资源用于空时编码,在保证原有系统优势的同时引入了分集增益,从而进一步提升了系统性能。本章最后,基于扩展的SM技术——广义空间调制技术,提出了改进的传输方案,利用舍弃的天线组合用于数据传输使得传输的效率得以提升。最后,根据目前的研究和积累探讨了空间调制系统在未来通信系统中的发展方向和前景。