为满足人们日益增长的无线通信需求,第五代移动通信（the Fifth Generation,5G）系统引入诸多新技术提升信息传输能力。然而,由于无线信道的开放性,无线通信面临欺骗、窃听、干扰等广泛的攻击威胁。无人机（Unmanned Aerial Vehicle,UAV）通信场景、智能反射面（Intelligentreflecting surface,IRS）等新技术的使用进一步加剧了无线安全风险。物理层安全是保障无线通信安全的重要手段,可从底层入手直接有效地解决无线欺骗与窃听问题,近年来备受关注。基于物理层安全理论,有望利用无线新技术自身解决其潜在的安全问题。本文针对非法通信、无线欺骗、无线窃听等典型无线安全问题,研究相应的物理层安全解决方法,分别阐述如下:1.协作通信中基于空间调制的无线欺骗方法研究针对无线网络中的非法通信问题,提出一种基于协作空间调制思想的三维符号级欺骗方法,可实现对非法通信内容的伪造或篡改;基于概率理论和最大似然判决准则,推导了欺骗成功率的闭合表达式,描述了欺骗节点传输功率、天线数、调制阶数等关键参数对欺骗性能的影响;仿真分析发现,与随机欺骗方法和传统二维星座符号级欺骗方法对比,所提方案具有更高的欺骗成功概率,当欺骗节点传输功率为10-1.4W时,欺骗成功率可高达90%,提升60%以上。2.UAV通信中基于RSS多点检测的抗欺骗方法研究针对伪地面基站节点（Malicious Attacker,MA）欺骗UAV的问题,利用UAV飞行轨迹的确定性和相邻位置之间信道属性的关联性,提出一种基于接收信号强度（Received Signal Strength,RSS）的多点联合检测方法;基于概率理论,分析了所提方法的漏检率和虚警率;仿真发现,MA距离合法地面基站6.5米时,所提方案的漏检率可低于0.1%,比传统多点独立检测方法降低70%以上,可有效检测近距离攻击节点。3.IRS辅助的OFDM系统抗窃听方法研究针对无线通信系统中的无线窃听问题,提出一种IRS辅助的正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）系统抗窃听方法;基于经典优化理论,利用块坐标下降法,对IRS相移、子载波分配和功率分配进行联合设计,提出一种元素级块坐标下降算法,最大化OFDM系统安全容量。仿真发现,与IRS相移随机配置方案相比,当IRS相移器数量为12,子载波数量为8,传输功率为8W时,所提方案可将安全容量提升3倍以上,并且IRS相移器数量越多,提升的效果越好。