物理层安全技术为第五代无线通信及以上未来网络提供了新的安全防护方案。传统的密码学和物理层认证技术在复杂的动态环境中面临着可靠性低、学习时变属性难以及隐私泄露等问题。本文通过对物理层属性的研究,不仅提出了基于机器学习算法的新身份认证设计方案,同时将智能引入物理层安全技术中完善了身份认证和安全传输理论。具体的贡献及成果可以概括如下:针对复杂动态环境和信道估计不完备引起现有认证方案可靠性低的问题,本文分别从信道特征提取及检测识别分类器两个角度进行了深入的拓展。首先,不同于现有的信道特征提取技术一般考虑单一物理层属性特征,本研究探索了基于多维特征的测量空间并提出了具有较高鲁棒性的二维信道特征。其次,研究了信道特征预处理与特征维数之间的內部关系,并以此为依据提出了基于Karhunen-Loeve变换(KLT)的信道特征提取技术,得到了最佳信道特征提取维度。最后,利用信息论研究无线信道之间的相关性,在恶意攻击者信道信息未知的情况下采用“伪攻击者”模型,利用高斯混合模型对合法信道与非法信道进行建模,得到了基于高斯混合模型的物理层身份认证方案。相比现有认证技术,仿真结果表明基于多维信道特征和高斯混合模型的物理层安全认证方案不具有较高的鲁棒性同时能有效提升认证检测识别率。针对已有的基于一次性身份认证的静态信道特征在跟踪时变属性面存在的局限性,本文提出了基于卷积神经网络算法的物理层智能设计方案。首先,在复杂时变通信系统中提出了一种基于主成分(Principal Component Analysis,PCA)算法的特征矩阵重构设计方案次,为了进一步提高算法对数据的“加工能力”,研究了基于卷积网络算法的信道特征提取技术,即“盲特征”提取,将重构的特征映射到更深维度从而挖掘信道数据的深层特征。不同于基于高斯混合模型方案的两个阶段设计思路,本文致力于寻找使认证识别率最大的最优特征提取与识别分类器的联合设计,提出了“盲特征”提取与“盲分类”认证的一体式智能认证设计方案。最后,将仿真验证延伸到了利用软件无线电平台(Universal Software Radio Peripheral,USRP)进行实测数据验证的设计方案中,在真实的会议室场景中验证了基于卷积神经网络算法的身份认证方案的有效性。针对身份认证过程中的隐私保护问题,本文进一步研究了安全传输过程采用更为实际的物理层安全技术来防止信息泄露。虽然采用多维信道特征与智能算法可以达到精确识别系统中恶意攻击者的效果,但是,认证过程中对合法用户的精确学习和挖掘可能导致其信息隐私泄露。本研究采用了人工噪声干扰的安全设计方案来降低窃听者的编码能力,考虑到协作节点的移动性和不可靠性等干扰因素,提出了基于全双工“自我保护”的物理层安全传输技术。首先,在全双工自干扰完全消除的理想情况下,提出了协作节点最优选择设计方案,进一步理论分析了系统中的功率分配问题,之后的仿真验证了所提算法的性能接近理论上界。其次,在全双工自干扰不能完全抑制的实际情况下,研究了全双工自干扰和信道间干扰对系统安全性能的影响,根据理论解的思路推导出了系统中的遍历安全速率和安全中断概率表达式。不同于理想情况下的选择方案,本文提出了基于增强学习算法的干扰节点选择设计方案,通过与环境的交互实现自学习选择最优全双工干扰节点。仿真结果验证了所提方案能显著提升系统的保密安全速率。