近年来,随着移动通信的迅猛发展,用户数和数据业务呈现爆炸式增长,这对移动通信提出更复杂的场景需求,同时也对绿色通信的可持续发展提出挑战。而第四代(4th Generation,4G)移动通信系统中以正交频分多址(Orthogonal Frequency Division Multiple Access,OFDMA)为代表的多址接入技术已难以满足需求,业内因此提出非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术,可满足更多的用户接入需求,并且提高资源利用效率。因此,本文将基于NOMA的概念构建基于多用户叠加编码的非正交多址接入系统,以功率分配与调制方式为基础对系统进行优化,并将其与协作通信结合,扩展应用场景。本文首先介绍了非正交多址接入原理,分别从功率域与编码域展开,介绍代表性非正交多址接入技术的原理与特性。其次,构建系统模型,介绍发送端和接收端的设计方案,从多对一模型与多对多模型出发,从两个角度对系统进行优化设计:第一,针对功率分配,以坐标轮换法和遗传算法为工具,研究模型的星座点特性与可达和速率性能;第二,从调制方式角度,以遗传算法为工具,研究模型的星座点特性与可达和速率性能。最后,研究协作通信场景下非正交多址接入的应用,针对功率分配,完成协作多址通信模型的联合优化。研究结果表明,针对功率分配设计的方案实现的可达和速率与误比特率性能优于等功率分配,并适用于不同的叠加结构与调制方式。针对调制方式设计的方案可提升可达和速率,优于单一调制,适用于不同的叠加结构。此外,对于协作通信场景下的功率分配,设计的联合优化方案在高信噪比处可逼近系统最大可达和速率。