第五代移动通信系统(the 5th Generation Mobile Communication System,5G)将引入多种先进技术,以提供高速的数据传输、海量的设备接入和极致的用户体验,最终实现“万物互联”。不同于已有通信系统中的正交多址技术,5G以及后5G将采用更加灵活高效的非正交多址技术,以满足多样化的场景需求,并且有效地提升频谱效率、成倍地增加用户接入数目。为此,针对不同的通信场景及用户需求,研究非正交多址技术与其他先进技术的结合应用及其潜在优势具有重要意义。本文围绕5G以及后5G通信的多样化需求,以提升系统吞吐量、提高传输可靠性、降低传输时延、保证安全传输为目标,结合先进技术和理论,采用模型构建、算法设计与优化、理论分析及仿真验证等手段开展了非正交多址技术的应用以及潜在优势探索的研究。论文的创新型工作主要包括如下几个方面:1)在多天线系统中提出了非正交传输方案,有效提升了频谱效率,并且在现有基础设施的基础上成倍的提升了用户接入数目。首先,基于提出了低复杂度用户分组方案,有效地加强了非正交多址技术与多天线技术的兼容性。其次,考虑了系统设计的公平性以及信息传输的可靠性,研究了传输功率受限情况下的系统吞吐量最大化的问题。针对参数耦合所导致的难以求解的问题,提出了基于最小均方误差方法和凸优化理论的设计方法,有效解决了非正交系统中波束设计和功率分配的难题。最后,仿真验证了所提方案充分利用了空间资源,有效地提升了系统吞吐量。2)在多小区场景中提出了非正交传输方案,降低了小区间干扰,有效扩大了信号覆盖范围,提升了系统吞吐量。首先,利用多点协作传输技术实现多基站协作,建立了非正交传输模型。其次,研究了基于用户需求的分组策略下的传输方案,缓解了非正交多址接入技术应用场景的局限性。并且,考虑了传输波束与功率分配之间的耦合关系,提出了联合波束设计和功率分配的低复杂度算法,以充分利用空间资源。然后,理论阐明了优化算法的收敛性。最后,仿真验证了所提方案有效地降低了小区间干扰,提升了频谱利用效率。3)证实了非正交多址技术能够有效地降低传输时延,并且在机器通信场景中设计了最优的非正交的小包传输方案。首先,在非正交传输中首次引入有限码长理论,更加准确地刻画小包通信的可达速率。并且,考虑了传输有限码长所带来的接收端误码率问题。为此,提出了有效吞吐量的概念作为衡量小包通信性能的标准。其次,理论分析了有效吞吐量与编码速率、传输时延、传输功率和接收端误码率之间的关系。为非正交系统中的基于有限码长的传输奠定了理论基础。随后,在特定的传输时延内,以提升有效吞吐量为目标,设计了最优的传输策略。最后,阐明了非正交多址技术在小包通信中能够有效地降低传输时延,所提方案进一步提升了小包通信系统的吞吐量。4)利用无人机协助解决了用户具有不同安全等级需求时非正交传输导致的秘密信息泄露问题。首先,建立了无人机作为中继协助信息安全传输的模型。其次,考虑到无人机飞行时间和搭载能量受限,构建了最大化无人机能量效率的优化问题。并且,分析了无人机飞行位置与信息安全传输之间的关系。随后,提出了无人机飞行轨迹和信息安全传输的联合设计方案。最后,仿真验证了所提出的基于无人机协助的非正交传输方案有效地保证了秘密信息的安全传输,提升了频谱利用效率和无人机的工作效率,拓展了无人机在无线通信领域的应用。