与传统的正交多址接入（Orthogonal Multiple Access,OMA）不同,非正交多址接入（Non-orthogonal Multiple Access,NOMA）从功率分配的角度,重新定义了资源分配的方式。通过将接入系统的多个用户在功率域上进行非正交叠加、人为引入干扰、适度提高接收机的复杂度为代价,可以使有限的频率资源高效地利用,从而满足下一代无线通信系统对高速率和海量连接的需求。本论文结合5G场景中,充分利用信息论、概率论的相关理论和研究方法,采用建立模型、理论分析、性能优化、仿真实验相结合的方法,对NOMA系统及其协作系统中的关键技术及其性能进行研究。具体研究工作如下:接入NOMA系统中的各用户信号调制方式会对NOMA系统性能产生影响。论文以两个QAM调制信号接入NOMA系统为例,通过建立模型,理论分析,得出了信号调制方式与误码率之间的定量关系,在此基础上进一步推导得到了高阶QAM调制方式下的NOMA系统的误码率。通过仿真,验证了调制方式对于NOMA系统误码率的影响,证明了理论分析的正确性,为本文后续研究打下理论基础。NOMA系统中多用户之间的配对算法一直是NOMA系统设计中的关键问题。针对这一问题,对已有分组配对方法进行了深入详细的对比分析。研究得出了一种基于树形结构分组的多用户功率递增分配算法。该算法按照传输信道的特性,将多个用户放置在树形结构的各层上,在每层预设不同的功率分配系数,进入到每一层后,会计算每层中各个预设节点的传输速率,随后将每层中传输速率最大的节点定义为幸存节点并保留,舍去其他多余的节点,直到对所有的用户完成功率分配。仿真结果表明,与全局搜索算法相比,该算法可保证系统容量在没有明显下降的情况下,大幅度地降低计算复杂度,有利于提升系统的实时性。协作通信方式是4G移动通信中提高系统容量、提高系统覆盖率的一个重要技术,不同的转发方式会对系统性能产生影响。将协作通信与NOMA系统相融合也是5G移动通信的必然趋势。论文探讨了基于解码转发（Decode-and-forward,DF）协议和放大转发（Amplify-and-Forward,AF）协议下,协作NOMA系统的有效性和可靠性。经过物理建模,通过数学推导,求解得到了系统中断概率的闭合表达式、系统的和速率的闭合表达式。又推导得出了在高SNR下,中断概率的下界闭合表达式。通过计算机仿真实验表明,协作NOMA的可靠性和有效性均优于传统的协作OMA。针对半双工模式下的协作NOMA系统中,可能存在中继无效参与这种现象,会导致的频谱效率下降的问题。为此,将增量中继协作方式引入到协作NOMA系统中,即当直传链路可以满足用户服务质量需求（Quality of Service,Qo S）时,仅仅利用直传链路进行传输,而保持中继静默,这也是为了给具有不同服务优先级要求的用户提供适合的通信服务。论文从理论上分析了增量协作NOMA系统的中断性能,推导了用户中断概率的闭式解表达式,得出了增量中继协作模式下的系统吞吐量表达式。仿真结果表明,与传统的协作NOMA系统相比,基于增量中继的协作NOMA系统中,远端用户的中断性能得到了明显的提升和改善。本文从理论上建立NOMA系统性能分析方法和资源分配优化模型,可为下一代移动通信中的多址接入提供理论依据及实用技术。