空间调制（Spatial Modulation,SM）是近年来被提出的一种多输入多输出（Multiple Input Multiple Output,MIMO）技术,与传统的MIMO技术相比,空间调制具有低成本、高能效等优势。空间调制是一种多天线调制技术,它通过在每一个时隙激活一根天线来发送信息,同时所激活的天线的索引也用于携带部分空间比特信息,因此,空间调制系统的频谱利用率得到了很好的提升。由于空间调制是单射频链路结构,所以,它可以很有效的防止了信道间干扰和天线同步等问题,空间调制也因此受到了广泛的关注。空间调制（SM）是5G通信系统中的一种索引调制方式,它通过发送天线序号和发送的调制符号两方面来共同传输信息,通过对SM系统进行星座图的优化设计,能够显著提升空间调制系统的性能。为此,研究人员提出一种统一的性能比较概念,即在理论分析上介绍了一种空间调制系统误比特率最小化准则,并且根据最小化准则提出一些新型星座图优化设计方法。根据该算法设计得到的星型空间调制系统星座图由两个或者多个环组成,并且星座图的每个环的半径大小在运用到实际的通信场景之前就确定下来,以此来达到降低额外开销的目的。由仿真结果可以看出,与传统的幅度相位调制（Amplitude Phase Modulation,APM）星座图相比较,改善后的星座图更具有优势。基于该背景,本文提出了一种性能较好的空间调制系统星座图设计方案,同时针对空间调制系统检测算法复杂度高的现象提出了一种新的低复杂度检测算法。本文主要研究内容如下:（1）由于空间调制系统星座图设计复杂度极高,本文设计了一种新型的分层星座图,该星座图将信息比特分组映射到每一个天线索引上,而具体的星座符号分别由其他的信息比特来确定。这一种分层星座图既能满足在空间调制多天线系统下的运用,又能满足分层星座图不同优先级信息比特的分层传输;而且结构较为规则,因此,该设计星座图的算法具有较低的复杂度。（2）由于目前最优的空间调制系统检测算法复杂度极高,而低复杂度的算法性能相对较差。因此,本文提出了一种性能较好的低复杂度检测算法。该算法对天线序列和传输符号进行分步检测,因此,与其他的空间调制检测算法相比,该算法具有较低复杂度的特点。而且根据仿真结果,在保证算法复杂度较现有算法复杂度低40%-60%的情况下,所提出来的检测算法的性能非常接近目前最优检测算法的性能。（3）本文将新的分层星座图和新的检测算法运用到空间调制系统中,并且相应的性能仿真对比实验。每一章给出了不同参数情况下的仿真对比实验以及讨论结果。