随着无线通信业务需求的增长和无线通信技术的提高,5G移动通信面临着更加复杂的通信环境和更加艰巨的通信安全问题。尽管基于密钥加密技术引入的新加密算法使得通信系统的安全性得到了提升,但随着计算机能力的极大提高、移动互联网的飞速发展和移动支付的迅速推广,无线移动通信的安全性问题仍面临着严峻的挑战。物理层安全技术利用无线信道特征来实现信息的安全通信,有效克服了传统安全技术依赖于窃听者有限计算能力的缺陷,同时满足了无线通信的可靠性和安全性需求,因而成为当前无线通信领域的研究热点。本论文从研究物理层安全传输技术的角度出发,分析传统的中继传输方式和正交接入方式在安全方面存在的不足,研究如何面向未来新的通信环境,利用混合中继技术、全双工技术以及非正交多址接入等新的技术手段,实现物理层安全性能的提升。本论文的主要贡献和工作如下:(1)针对中继网络安全通信问题,分析了传统的解码转发(Decode-and-Forward:DF)、增强型解码转发(Incremental Decode-and-Forward:IDF)和选择型解码转发(Selection Decode-andForward:SDF)协议对网络传输的影响,结合放大转发(Amplify-and-Forward AF)的特点介绍增强混合解码放大(Incremental Hybrid Decode-Amplify:IHDAF)协议。为了降低网络的反馈开销和硬件成本的同时提高系统的安全性,本文提出了基于传输天线选择(Transmit Antenna Selection:TAS)的IHDAF协议即TAS-IHDAF协议。通过对TAS-IHDAF协议的安全性能分析推导出其安全中断概率。理论和实验结果表明,相对于IDF和SDF协议,TAS-IHDAF协议由于采用灵活的中继模式具有更好的安全性能。然后进一步讨论了基于码书(Codebook-based Beamforming:CB)波束成形IHDAF协议(即:CB-IHDAF协议)的安全性,分析结果表明,相对于CB-IHDAF协议,TAS-IHDAF协议由于采用了TAS方式能够取得更小的安全中断概率。该分析结果为多天线节点在反馈受限的中继网络安全通信提供了有效的传输方案。(2)为解决中继网络中频谱利用率和安全性的矛盾,利用全双工中继技术在提高系统的频谱利用率的同时改善系统的安全性能。以用户协作和全双工中继选择技术为研究基础,提出联合的用户和中继选择(Joint User and Relay Selection:JURS)协议并分析其安全性能,为了降低JURS协议的复杂度,进一步提出了一种分离的用户和中继选择(Separate User and Relay Selection:SURS)协议。理论和实验结果表明,一般情况下,JURS协议相对SURS协议,能够取得较好的安全性能,但当系统中用户的数目远大于中继数目时,或者在用户到中继的信噪比远大于中继到目的端的信噪比的情况下,两种协议能够取得相似的安全性能。进一步分析了两种协议的安全渐近性能,从分析结果得知JURS协议能够取得与中继数目相同的安全分集增益,SURS协议能够取得等于用户和中继数目中相对较少的值的安全分集增益,且两种协议的安全分集增益都与窃听用户的天线数目无关。提出的两种选择协议可为实际的多用户多中继网络安全通信提供灵活的设计方案。(3)为实现中继网络中多用户对同时的安全通信,在本文前两章(研究内容(1)和(2))研究中继安全通信基础上结合非正交多址接入(Non-orthogonal Multiple Access:NOMA)技术研究实现物理层安全通信,提出两阶段安全中继选择(Two-stage Secure Relay Selection:TSSRS)方案在NOMA传输系统中的应用,即TSSRS-NOMA协议,在满足其中一用户对的基本安全传输要求下最大化另外一用户对的安全信道容量。为了比较分析,本文也提出了基于两阶段安全中继选择的正交接入(Orthogonal Multiple Access:OMA)方案,即TSSRS-OMA协议,进一步分析了两种协议的渐近性能。仿真和实验结果表明,在传输能量受限的情况下,TSSRS-NOMA协议相对TSSRS-OMA协议能够取得较好的安全优势,且当两用户对的安全速率差距越大,TSSRS-NOMA协议优越性越突出。本文提出的基于OMA和NOMA的选择方案可为中继网络中的多用户对安全传输在不同传输能量下提供最优的选择依据。(4)针对NOMA多址系统多用户和大规模天线基站的通信场景安全性问题,提出了新的基于人工噪声(Artificial Noise:AN)的波束成形技术来减小合法用户之间的信号干扰,并提高系统的安全性能。构造了基于满足用户最小服务质量限制的安全速率和最大化问题,分别在一般SNR和高SNR场景下得到优化解。仿真和实验表明在传输能量较高情况下,两种协议能够取得相似的安全性能。同时通过对比其它的基于AN的波束成形方法,本文提出的波束成形能够取得更好的安全性能。也揭示了在两用户的NOMA通信场景中,随着传输能量的增加更多的系统能量应该分配给弱用户或者噪声信号,而分配给强用户的能量保持不变。本文提出的这种NOMA传输方式,可为5G网络蜂窝小区中的下行多用户通信提供有效的传输方案。(5)在本文研究内容第四章和第五章关于NOMA的物理层安全研究的基础上,进一步结合实际情况分析窃听用户的窃听能力,即考虑窃听用户和合法用户信道不同关系来进一步研究NOMA安全性问题。同时结合NOMA中强用户解码规则,从信息安全性角度出发,仅提供给强用户安全服务,而提供给弱用户一般传输服务。针对弱用户最小服务质量和强用户安全中断概率受限情况下的强用户安全速率最大化问题,分别考虑在一般情况和渐近情况下系统的最优解。分析结果表明,随着传输能量的增大,最优能量分配即等能量分配,且为了保护信息安全性所需冗余速率接近于1。另外分析结果也表明,随着弱用户的最低传输速率的增加,系统安全的代价降低,且强用户的安全中断概率限制参数对最优的能量分配系数影响变小。提出的这种NOMA传输方案可为5G网络系统中的差异化服务提供有效借鉴。(6)最后,在本文前面关于物理层安全研究的基础上,进一步提出利用物理层特点来实现安全的SWIPT。分析传统的协作波束成形(Cooperative Beamforming:CB)和协作干扰(Cooperative Jamming:CJ)方式在中继网络中的应用。提出了利用中继协作波束成形和能量信号(Cooperative Beamforming and Energy Signal:CB-ES)的方法实现同时无线信息和能量传输(Simultaneous Wireless Information and Power Transmission:SWIPT)。基于最坏情况下的窃听场景假设,提出了鲁棒性CB-ES协议,构造了安全速率最大化优化问题。通过一维搜索和半定松弛(SemiDefinite Relaxation:SDR)技术将该非凸问题转换为一个两层的优化结构方程。通过SDR技术获得一个秩为1的解进而通过解两层的优化问题来获得原始问题的最优解。实验结果表明,鲁棒性的CB-ES协议相对其他协议能够取得较好的安全性能,为SWIPT安全应用提供有效的借鉴和参考。最后对全文进行了总结并对物理层安全传输未来的发展方向进行了展望。