空时分组编码--空间调制(STBC-SM)是一种新的多输入多输出(MIMO)传输方案。它结合了空间调制(SM)和空时分组编码(STBC),在STBC-SM方案中,传输的信息符号不仅在空间域和时间域,在天线域上也进行了扩展,即传输中发射天线的选择,因此核心STBC和天线选择序列都携带编码信息。STBC-SM利用两者的优点从而避免了它们的缺点,除了天线域所提供的频谱效率高的优点,同时获得分集增益和编码增益。本文对STBC-SM中高阶调制符号的码本设计进行了研究,通过最小化发送信号乘积距离,优化32PSK调制方式下的发送码本,并通过相应的理论分析,对比了理论性能与仿真性能的一致性。通过以上工作,增强了高阶调制场景中接收端信号检测的可靠性。在此基础上,本文进一步提出了一种具有较低复杂度的STBC-SM的信号检测算法。在最大似然译码中,需要对每一种天线序列下的符号都进行估计和比对,而该算法是先估计天线符号后,在该天线符号确定后进行天线序列的估计,这样避免了对每种天线组合都进行估计的复杂算法。在高阶的STBC-SM调制中,所提出的检测算法的计算复杂度被证明是独立于调制大小M的,因此计算复杂度较低。