由于其机动性和灵活性,无人机（Unmanned Aerial Vehicle,UAV）通信被认为是未来无线通信的关键技术之一,在众多领域得到了广泛的应用。随着第五代移动通信（Fifth Generation,5G）的商用,用户数据量需求爆炸式增长,移动通信面临着频谱资源稀缺和并发连接受限等问题。非正交多址接入（Non-Orthogonal Multiple Access,NOMA）为解决此问题提供了一个很好的思路。本文主要研究了基于NOMA技术的UAV通信系统网络的性能,具体研究内容如下:1.针对下行UAV-NOMA系统提出了一种半免授权（Semi-Grant-Free,SGF）传输方案。在SGF通信场景中,UAV为基于授权（Grant-Based,GB）的用户提供通信服务,并在满足条件的情况下允许免授权（Grant-Free,GF）用户共享通信。分析推导了采用固定功率分配策略时GF用户的中断概率（Outage Probability,OP）解析式和渐进解析式。结果表明,只有在对用户服务质量要求严格的条件下,才能实现非零分集阶数。为了解决这个问题,提出了一种动态功率分配策略,并分析推导了采用动态功率分配策略的OP解析式和渐进解析式。结果表明,采用动态功率分配策略时在任何情况下都能实现非零分集阶数。最后,给出蒙特卡洛仿真结果,验证了理论分析的正确性,并分析验证了无人机位置和高度等参数对GF用户OP的影响。2.研究了存在单个窃听UAV和多个窃听UAV时陆地NOMA系统和空中NOMA系统的物理层安全性能。首先针对存在窃听UAV时陆地NOMA通信系统进行了数学建模,分析了系统的安全中断性能。采用随机几何理论,推导了主链路和窃听链路信道增益的累积分布函数（Cumulative Distribution Function,CDF）和概率分布函数（Probability Density Function,PDF）,进而推导出安全中断概率（Secrecy Outage Probability,SOP）的解析式。接着针对存在窃听UAV时空中NOMA系统进行了数学建模和理论分析。为了提高系统的安全性能,在基站上采用了定向天线,并在地面基站周围设置保护区。采用随机几何理论,推导出存在单个窃听UAV和多个窃听UAV两种场景下系统SOP的解析式。最后,通过蒙特卡洛仿真结果验证了理论分析的正确性,并分析了系统参数对系统SOP的影响。结果表明:1)存在一个最优的发送功率,可使得系统SOP数值最小,而最优发送功率取决于安全速率阈值、合法和非法用户分布参数、保护区域大小、窃听节点分布参数、定向天线参数、和窃听用户解码能力等参数。2)远近用户都可能成为NOMA系统的安全瓶颈,因此必须从NOMA系统的角度仔细设计系统参数。3)采用定向天线和设置保护区能有效改善系统的安全性能。