无线通信技术的发展正在进入宽带通信的新时代,此时系统的通信速率、传输服务类型和安全性能等都具有更高层次的要求。为了满足新一代无线通信系统的安全需求,基于数据链路层及以上各层的传统安全机制因为难以实现对无线信道空中接口和调制方式的保护而面临较大的安全挑战。因此,研究无线通信系统物理层安全是大势所趋,同时对于调制方式相关信息与空中接口的保护也显得尤为重要。本文以OFDM调制系统为背景,首先研究了现有无线通信系统所面临的安全威胁及物理层安全机制的现状和存在的问题,并以此为依据设计了两种物理层安全算法。基于对角密钥矩阵的调制方式保护算法以一个对角矩阵作为密钥对IFFT后的符号进行加密,实现星座扰乱和调制方式的保护,文中利用认知网络中典型的调制方式识别方法验证算法对调制方式的保护效果；理论分析和仿真实验表明,算法可有效抵抗典型的调制方式识别算法,且对系统固有性能无明显影响。基于人工噪声的物理层调制方式及数据保护算法由星座扰乱和人工噪声叠加两部分组成,该算法能够实现对OFDM入口和出口数据的同时保护；理论分析和仿真实验表明,加密过程具有较好的安全性和不可删除性,且算法在不改变系统性能的条件下能够实现对数据的保护和对典型调制识别的抵抗,并能明显降低非法接收者的调制识别率。