干扰会恶化无线通信的性能。现有无线通信系统一般采取正交信号来避免用户间干扰,虽然简化了系统设计,但也影响了信道资源的使用效率。从信息论的角度,非正交传输才能最大化无线通信效率。基于叠加编码的非正交传输近年来得到了广泛的关注。通过与连续干扰消除(Successive Interference Cancellation,SIC)技术相结合,叠加编码允许无线通信系统中的多个用户(或数据流)共享同一信道资源,用户信号之间不必正交,从而实现了更加高效的信道接入方式。本论文从叠加编码与中继技术的结合、叠加编码相关的优化设计、基于叠加编码的非正交传输系统性能优化等方面对基于叠加编码的非正交传输展开研究。研究表明,对于基于叠加编码的非正交无线通信系统,用户(或数据流)之间形成了一个合作的联盟,能以协同的方式完成通信目标,与正交无线通信系统相比实现了更高的传输效率。本论文的主要工作和创新如下:1)单用户中继系统中基于叠加编码的中继协议设计。分别针对信源至中继(Source to Relay,S-R)链路和中继至信宿(Relay to Destination,R-D)链路信道状态较好的情形提出了基于叠加编码的部分转发(Superposition Coding Based Partial Forward,SCPF)和时间压缩转发(Time Compress and Forward,TCF)中继协议。中继信道中各链路质量的相对差异对中继协议的性能表现有直接的影响,通过引入基于叠加编码的非正交传输,实现了中继信道各链路的特征融入到中继协议的设计中,从而避免了各链路质量和负载不协调导致的传输效率下降。对于中继采用重复编码的情形,所提协议可以灵活调节各链路的负载。所提出的SCPF中继协议利用了S-R链路质量较好的特点,在信源发送信息给转发节点的同时,叠加一部分可以被信宿直接解码的信息。所设计的TCF中继协议将多个信号叠加后再转发,利用了R-D链路质量较好的特点。建立了SCPF中继协议和TCF中继协议的性能分析方法。理论分析和仿真都表明,在对应的场景中,所提出的协议可以明显改善中继传输的效率。2)基于叠加编码的非正交多址(Non-orthogonal Multiple Access,NOMA)分析和设计。研究中,针对只知道统计信道状态信息(Channel State Information,CSI)的情形,求解了各用户间的中断概率均衡问题,为用户公平性受限情形下下行NOMA系统的中断性能评估建立了解析分析方法。首先,分析了基于叠加编码的多用户非正交传输的功率分配因子(Power Allocation Factor,PAF)和解码顺序选择,获得了既定解码顺序下的最优PAF选取方法、实现最优用户公平性的解码顺序、最优中断均衡点的PAF闭式解和中断概率闭合表达式。其次,在上述结果的基础上,对用户分组问题展开研究,包括用户分组方式、组间功率和信道资源分配,通过对KKT最优性条件分析,提出了求解最优组间功率和信道资源分配的算法。还进一步讨论了NOMA的实现复杂度,主要考虑SIC和用户分组引入的复杂度,以大量随机场景下的平均均衡中断概率作为性能指标,分析了不同的分组方式、分组大小、组间功率和信道资源分配对NOMA性能的影响。理论分析和仿真结果表明,用户分组为实现好的性能-复杂度折中提供了有效的途径,在适度的复杂度下,NOMA的性能明显优于传统的正交多址。3)下行中继网络中基于叠加编码的组对传输方案分析和优化。与下行非中继网络相比,下行中继网络中不同用户R-D链路之间的差异为基于叠加编码的非正交传输提供了新的维度来实现性能增益。另外,非正交传输产生的复用增益可以弥补中继的半双工频谱损耗。为使研究结果更加符合实际,论文中考虑基于叠加编码的组对中继传输协议且中继采用重复编码和解码转发,通过该协议系统可以在同一时频信道内同时为两个用户提供中继通信服务。首先,针对既定的用户传输速率,建立了组对中继协议中PAF和解码顺序的最优选择方法,并给出了各用户中断概率的解析表达式。其次,通过高信噪比分析,理论上求解了满足各用户服务质量(Quality of Service,QoS)需求下的功率最小化问题,求得了相应的最优PAF和解码顺序,其中QoS指用户的数据速率和中断概率需求。随后,分析了如何对用户配对以最小化系统总体的能量消耗。用户配对问题被建模为非二分图的最佳匹配问题,并为此提出一种计算复杂度为O(K2)算法,该算法的性能非常接近于复杂度为O(K3)的最佳匹配算法,其中K表示用户数。理论分析和仿真结果表明,与传统的中继传输方式相比,组对中继传输可以带来明显的功率增益,其中高信噪比近似结果与通过数值方法求得的精确结果非常吻合。