近些年来,作为未来5G无线通信关键技术之一,非正交多址接入(NOMA)引起了广泛关注。NOMA通过功率复用,将多用户信息以非正交方式叠加在相同的时频资源上进行传输,在接收端则利用先进接收算法分离多用户信息,能够在保证传输速率的同时,显著地提升频谱效率和系统接入能力。然而,NOMA与多输入多输出(MIMO)技术的结合(MIMO-NOMA)以及NOMA与正交频分复用(OFDM)技术的结合(OFDM-NOMA)等方面,依然面临的不少挑战,例如:MIMO-NOMA中串行干扰消除(SIC)接收机的误差传播现象以及OFDM-NOMA系统中因非理想载波同步而导致的子载波间干扰等,均会限制系统性能。鉴于此,本文主要就以下几个方面进行了研究工作:首先,本文设计了一种通过联合NOMA技术和准正交空时分组编码(Q-OSTBC)而实现的MIMO-NOMA方案。在发射端,各用户信号进行Q-OSTBC编码,并根据NOMA原理进行功率分配后叠加发送,接收端则利用SIC接收机进行检测。由于Q-OSTBC能够在分集增益和复用增益之间取得良好折中,因此基于此编码的MIMO-NOMA方案能够较好的兼顾传输速率和误码率性能。仿真结果表明,相对于采用Q-OSTBC与正交多址接入技术相结合的方案,该方案可以显著提高系统容量。此外,该方案还可有效抑制SIC过程中的误差传播现象,从而提高误码率性能。其次,分析了限幅效应对OFDM-NOMA系统性能的影响。高峰平比是影响OFDM-NOMA系统性能的重要因素之一,而限幅因其复杂度低易于实现已被广泛应用于传统OFDM系统中以降低峰平比,但限幅同样会降低系统性能。鉴于此,本文建立了两配对用户情形下的OFDM-NOMA系统模型,推导了采用限幅时每个配对用户的信道容量表达式,并基于此给出了OFDM-NOMA系统在采用限幅时合理的用户功率分配区间,只要功率分配因子从该区间选取,即可使得每个配对用户在OFDM-NOMA系统中的可达速率至少不低于其在OFDM-OMA系统中的可达速率。此外,本文就限幅对合理功率分配区间的影响也进行了分析讨论。理论分析和仿真结果均表明:一方面,限幅降低了OFDM-NOMA和OFDM-OMA的容量,而且即使提高信号发送功率也无法有效的补偿该容量损失;另一方面,通过合理选取功率分配因子,依然能够保证OFDM-NOMA的容量性能优于OFDM-OMA。最后,本文建立了含残余频偏的OFDM-NOMA系统模型,分别推导了其上行及下行链路的遍历容量,并结合仿真进行分析。结果表明:残余频偏过高可导致OFDM-NOMA系统遭受较大的容量损失。当输入信噪比和归一化残余频偏值分别为10 dB和0.45时,OFDM-NOMA上行链路和下行链路的约减少了30%;但是,当归一化残余频偏值控制在0.05以下时,容量损失则可忽略不计;其次,功率分配因子取值不同,虽然会影响OFDM-NOMA系统中单个配对用户的容量,但对由残余频偏造成的系统容量损失影响不明显。综上所述,本文设计了一种采用Q-OSTBC编码的MIMO-NOMA收发方案,在提升了系统容量的同时有效抑制SIC接收机的误差传播。其次,分析了限幅效应对OFDM-NOMA系统容量的影响,并给出了合理的用户功率分配区间,较好的兼顾了接入用户的传输速率及公平性。最后,研究了残余频偏对OFDM-NOMA系统容量的影响,为频偏抑制提供了参考。