非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术允许用户利用不同的功率域资源,从而共享相同的时、频、码域资源,因此具有较高的频谱效率与较强的公平性。此外,多输入多输出(Multiple-Input Multiple-Output,MIMO)系统中的空间调制(Spatial Modulation,SM)技术也能够大大提升频谱效率。因此,基于SM技术的MIMO-NOMA系统,即SMN系统,能较大程度地满足第五代(The Fifth Generation,5G)移动通信对于频谱利用率、功耗、接入量等方面的需求。本文提出了基于有效信道增益的用户分组方案,即根据有效信道增益强弱进行分组,从而保证组内用户具有较强的信道差异性。此外,提出了基于极值问题的两用户功率分配方案,从而通过求解极值点进行功率分配。结果表明:所提的用户分组与功率分配方案对于SMN系统的性能提升具有重要意义。针对SMN系统的性能提升受到所选发射天线数限制的问题,本文设计了基于广义空间调制(Generalized Spatial Modulation,GSM)的MIMO-NOMA系统,即GSMN系统。本文提出了基于最小割定理的用户分组方案,即将互增益较小的用户分到不同的组,从而保证组内用户之间的互增益相对较大。此外,通过构建具有约束条件的和速率最大化问题,进行功率分配。结果表明:与传统的SMN系统相比,所提的GSMN系统能够提升性能同时保证适当的公平性。此外,所提的用户分组与功率分配方案有利于GSMN系统性能的进一步提升。为了进一步提升频谱效率,本文设计了基于正交空间调制(Quadrature Spatial Modulation,QSM)的MIMO-NOMA系统,即QSMN系统。该系统可将幅度相位调制(Amplitude-Phase Modulation,APM)符号分为实部符号和虚部符号,从而保证这两个正交的符号之间没有干扰。本文提出了基于位置相关性的用户分组方案,从而能够同时考虑有效信道增益、用户位置,以及信道相关性的影响。此外,提出了基于最小速率需求的功率分配方案,从而保证不同用户能够消除组内干扰。结果表明:所提的方案适用于QSMN系统,并且有利于提升频谱效率与公平性。