随着5G通信网络部署的开始,同时伴随着越来越多智能设备数量的快速增长,连接数量呈爆发式的增长,传统的基于正交资源的接入方式已不能满足未来的通信场景需求,尤其是在海量的低时延、低速率无线传感通信网络中。将卫星通信与地面移动通信相结合形成星地混合通信网络是未来天地一体化通信的重要组成部分和发展趋势。为更好地融合未来5G地面移动通信系统,提供更高效和更广覆盖的通信服务需求,本文将基于中继的混合星地传输系统和NOMA技术相结合,考虑理想情形和参与硬件损伤存在的实际情况下,研究了协作NOMA星地混合中继通信系统和基于AF中继的混合星地NOMA传输系统的中断概率和遍历和速率性能。本文主要贡献和工作总结如下:针对NOMA协作的混合星地中继传输系统,考虑理想情形下直传链路存在和不存在情况下的各用户的中断概率性能,推导了中断概率的精确表达式和渐进表达式,并与OMA情形作了对比和仿真验证;进一步,推导了系统的遍历和速率并进行了仿真验证,结果表明NOMA方案优于传统的OMA方法。考虑节点存在RHI时,推导了系统的中断概率的闭式解,研究了RHI水平对系统中断性能的影响,并与理想情形和OMA作了对比,揭示了RHI的存在会使得用户的信干噪比趋于常值,从而引起误码平层。进一步,推导和研究了系统遍历和速率,理论分析和研究了RHI水平对系统的遍历和速率的影响,并与OMA系统进行了仿真比较和分析。针对AF中继的混合星地NOMA传输系统,考虑理想情形下了各用户的中断概率性能,推导了中断概率的精确表达式和渐进表达式,并与OMA情形作了对比和仿真验证,进一步,推导了系统的遍历和速率的上界和下界并进行了仿真验证。进一步考虑节点存在RHI时,推导了系统中断概率的闭式解,并与理想情形和OMA作了对比,揭示了RHI的存在会使得适应于理想情形的功率分配因子不再适用,因此需要仔细设计系统的功率分配因子。进一步,推导和研究了系统遍历和速率,理论分析和研究了RHI水平对系统的遍历和速率的影响,RHI的存在会使得用户的遍历和速率与OMA的遍历和速率在高信噪比下趋于相同,但NOMA方案提高了用户间公平性。研究结果证明了NOMA传输系统在频谱效率、用户间公平性和连接数上的优越性,并为实际的设备RHI设计和制造提供了理论参考和依据。