后向散射通信（Backscatter Communication,Back Com）无需发射设备配备主动射频组件,能降低能耗和成本,但实现能量与信息传输须部署专用射频源,占用额外频谱资源。环境后向散射通信（Ambient Backscatter Communication,Am BC）可利用环境中现存的射频信号吸收能量和传输信息而无需分配新的频段。非正交多址接入（Non-Orthogonal Multiple Access,NOMA）作为增强无线通信系统频谱效率的关键技术,可应用于后向散射通信系统以提高系统容量和设备连接数。本文研究非正交多址后向散射通信系统性能优化,具体包括上行NOMA-Back Com系统后向散射设备（Backscatter Devices,BD）配对与反射系数优化以及下行NOMA-Am BC系统BD能效与用户功率分配优化,旨在充分发挥NOMA的技术优势,提升NOMA-Back Com系统的传输容量和NOMA-Am BC系统性能。主要研究内容和取得的研究成果如下:1)针对收发一体式上行NOMA-Back Com系统,研究BD配对算法和反射系数优化算法。为了利用NOMA,制定距离划分和功率划分两种区域划分规则,用于划分读写器覆盖区域。在BD配对算法研究中,针对双BD配对,将配对问题转换为寻找加权二部图的最大权重匹配问题,提出一种基于二部图最大权重匹配的双BD配对（DP-BG）算法;针对多BD配对,将配对问题分解为相邻区域的双BD配对问题,采用匈牙利算法寻找多部图的最大匹配,提出一种基于多部图最大匹配的多BD配对（MP-MG）算法。为进一步优化系统性能,设计一种基于改进自适应遗传算法的反射系数优化（RCO-IAGA）算法,搜索每个子区域中BD反射系数的最优组合。通过蒙特卡罗仿真,验证了BD配对算法和反射系数优化算法可以有效提升NOMA-Back Com系统平均成功解码比特数。2)针对合作型下行NOMA-AmBC系统,研究BD与下行NOMA用户共享相同频谱下的系统资源分配。首先基于Dinkelbach算法,在BD收集能量和后向散射信号解码门限约束下,联合优化基站发射功率、BD反射系数和后向散射持续时间,最大化BD能效。然后利用能效优化后的基站发射功率和BD反射系数,基于协同信号接收机的解码顺序和解码门限约束,进一步优化BD不同工作阶段中下行NOMA用户功率分配,最大化NOMA用户的和速率。通过仿真分析,验证了BD能效优化算法和用户功率分配算法的有效性。