5G及B5G通信中,人们对高速率、高可靠的需求越来越高。多输入多输出（Multiple-input multiple-output,MIMO）技术由于频谱效率高、通信质量稳定而得到广泛应用。空间调制（Spatial modulation,SM）是一种新型MIMO技术,利用发送天线索引和发送调制符号共同承载发送信息。这种独特的传输方式降低了 MIMO系统复杂性,克服了 MIMO技术中存在的信道间干扰、天线间同步等问题。但由于SM只激活单根天线,导致其频谱效率并不高。目前已有一些改进的SM方案,在一定程度提高了 SM的频谱效率和系统可靠性,但仍存在提升空间。本文对高效SM系统进行了研究,提出了一种改进的SM方案,即双模广义空间调制（Dual-mode generalized spatial modulation,DGSM）方案,并对 DGSM 方案进行了优化设计,给出了基于联合映射的双模广义空间调制（Joint mapping based dual-mode generalized spatial modulation,JM-DGSM）方案。此外,为了应对实际通信中存在的信道衰落及阴影效应,论文将所提的改进SM方案与协作通信技术进行了结合,进一步提升了实际通信环境下系统可靠性。主要研究工作概括如下:1)提出了 DGSM方案。该方案将发送比特信息分为三部分,分别用来选择激活天线、模式组合方式和调制符号。论文从理论上推导了系统误符号率（Symbol error ratio,SER）的上限,分析了影响系统SER性能的主要因素。仿真结果表明,系统SER性能的理论结果与实际结果吻合较好,证明了理论推导的正确性。此外,通过对系统SER性能的仿真,验证了在相同的天线资源配置和频谱效率条件下,DGSM比现有几种方案具有更好的可靠性。2)设计了 JM-DGSM方案。该方案将DGSM的各部分信息进行联合优化映射,减少了天线资源的浪费,在相同频谱效率下可以采用更低阶的调制方式。为能体现系统不同映射方式的性能差异,论文对JM-DGSM系统平均误比特率（Average bit error rate,ABER）进行了分析并推导出系统ABER的上限,并通过仿真验证了理论推导的正确性。而为解决JM-DGSM解调时ABER受映射方式影响的问题,论文设计了一种较低复杂度的基于信道状态信息联合映射算法,其采用贪婪算法的思想,通过局部映射优化实现全局映射优化。最后通过系统ABER性能仿真,验证了该算法可以大幅度提升JM-DGSM的可靠性。3)针对实际通信中存在的信道衰落及阴影效应,将所提改进SM方案引入到多中继协作通信系统中。首先设计了基于多中继协作的双模广义SM方案系统,接着对采用放大转发协议和译码转发协议的通信过程进行了介绍。由于系统涉及联合映射,继而给出了基于多中继协作的双模广义SM方案系统ABER性能分析。最后,仿真结果表明将改进的SM方案引入到多中继协作通信系统中可以获得明显性能提升。