由于无线通信业务的快速增长,未来的无线通信系统需要能够容纳大量的通信链路并达到很高的频谱效率。为了更进一步提高系统容量,研究人员破除了传统通信系统中的正交约束,提出了非正交空口方案,包括非正交波形和非正交多址接入。在正交多址接入(Orthogonal Multiple Access,OMA)系统中,研究人员提出了数种非正交的波形,通过抑制频谱带外泄露来提升频谱效率。其中,滤波器组多载波(Filter Bank Multicarrier,FBMC)是最具代表性并受到广泛研究的非正交波形。为了抑制带外频谱泄露,FBMC采用时域长度为数个符号周期的成形滤波器,从而引入了固有的符号间干扰。这样一来,FBMC的检测相较于传统的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)更为复杂。另一方面,FBMC是一种多载波调制方式,拥有较高的功率峰均比(Peak-to-Average Power Ratio,PAPR)。然而,固有的符号间干扰使得为传统OFDM系统设计的逐符号PAPR降低算法不再适用于FBMC系统。在非正交波形以外,研究人员还直接提出非正交多址接入技术(Non-Orthogonal Multiple Access,NOMA),利用同一个资源块同时服务多个用户来提高系统的频谱效率和可容纳的连接数。功率域非正交多址接入(Power-Domain NOMA,PD-NOMA)是最典型并受到了学术界最广泛关注与研究的方案。在PD-NOMA系统中,多个用户可以共用同一个资源块,并通过功率域进行非正交复用。在接收端,则采用串行干扰消除(Successive Interference Cancellation,SIC)进行检测译码。这样一来,当改变一个用户的资源分配方案时,同一资源块上的其他用户性能也会受到影响,使得资源分配优化问题更加复杂。本文在阐述了 FBMC和PD-NOMA的基本原理后,针对FBMC的检测问题和PAPR降低问题,以及PD-NOMA的资源分配问题进行具体研究,并给出问题的解决方案。本文的主要工作可以总结为以下四个方面:首先,论文研究了FBMC系统的检测问题。FBMC系统通常采用低复杂度的线性均衡器进行信号检测,如迫零(Zero Forcing,ZF)均衡或者最小均方误差(Minimum Mean Squared Error,MMSE)均衡。然而,这些均衡准则不是最优的,为了达到更好的检测性能,需要考虑最优的最大似然准则(Maximum Likelihood,ML)和最大后验概率准则(Maximum A Posterior,MAP)。但是,由于FBMC系统中存在二维符号干扰,传统的Viterbi算法和BCJR算法的复杂度极高,难以应用于实际情况。因此,本文提出一种基于因子图的低复杂度MAP检测器,以实现检测性能和复杂度的折衷。此外,这个检测器是软输入软输出的,因而在编码系统中,很容易与译码器结合构造出turbo结构以提高系统性能。其次,论文研究了FBMC系统中的PAPR降低算法。类似于传统OFDM,FBMC也是一种多载波调制方法,因而会有很高的PAPR。由于FBMC系统存在固有干扰,在改变一个符号区间内信号的PAPR时,其他符号区间内的信号也会受到影响。因此,为传统OFDM系统设计的逐符号PAPR降低算法不再适用于FBMC系统。本文提出一种基于凸优化的信号畸变算法来降低FBMC信号的PAPR。论文首先构造出所要研究的优化问题,以数据子载波上的符号形变和自由子载波上的发送功率为约束,通过优化发送数据来降低整帧FBMC信号的 PAPR。然后,提出一种基于惩罚凹凸过程(Penalty Concave-Convex Procedure,P-CCCP)的算法来求解构造的问题。仿真结果显示,论文提出的算法可以有效降低FBMC系统的 PAPR。然后,论文研究了PD-NOMA的资源分配问题。在PD-NOMA系统中,中断概率是一种评价系统性能的重要度量。而且,合适的资源分配方式可以有效提高PD-NOMA的系统性能。因此,本文以中断概率为约束,通过联合优化系统的用户配对与功率分配方案来最小化下行PD-NOMA系统的发送功率。论文不仅考虑了传统的中断概率,还考虑了另一种新型定义下的中断概率。另外,为了使研究的问题更加实际,论文在信号检测时还考虑了不完美SIC的影响。为了处理复杂的资源分配问题,论文提出了一种低复杂度的两步优化算法,在两步中分别独立考虑用户配对与功率分配的优化。仿真结果显示,论文提出的低复杂度算法能够达到近似最优的性能。而且,当不完美SIC显著影响系统的检测译码时,基于新型中断概率约束的算法性能会优于基于传统中断概率约束的算法。最后,论文研究了PD-NOMA在移动无人机网络中的应用。在PD-NOMA系统中,信号检测时SIC的顺序是由用户的信道增益决定的。在移动无人机系统中,信道增益会随着无人机的位置移动而改变,从而造成信号检测顺序的改变,这需要在系统设计中着重注意。本文考虑一个下行移动无人机网络,其中采用PD-NOMA进行用户的复用。论文研究如何通过联合优化功率分配和无人机轨迹来最大化用户的最小可达平均速率。为了处理这个复杂的问题,论文提出了一种基于惩罚对偶分解(Penalty Dual Decomposition,PDD)的算法。该算法能够保证收敛到一个稳态解。仿真结果显示,论文提出的算法相比于传统的基准算法有更好的性能。