由于无线通信系统中的信号传输的开放性,非期望接收机也能获得传输的信号。保密信息的安全是无线通信系统中的一个关键问题。随着信号处理技术和信道编码技术的发展,在物理层实现信息的安全传输成为可能。多天线波束赋形和人工噪声辅助技术是实现物理层安全的重要技术手段。本文对神经网络在物理层安全信号处理中的应用进行研究,分别利用神经网络实现自适应安全波束赋形和全双工合法接收端信号合并与自干扰消除。论文的主要工作如下:1.研究多输入单输出系统中利用神经网络实现信号和人工噪声波束赋形的方案。将常规波束赋形方案中信道估计、信道状态信息反馈、波束赋形设计三个过程合并为一个利用线性神经网络的反向训练过程。利用信道的互易性,由合法接收端发送训练序列,训练发送方实现保密信号和人工噪声波束赋形的神经网络。对误比特率和保密速率进行仿真和分析,仿真结果表明所提方案的可行且有效,方案的安全性能非常接近理想信道状态信息条件下的常规安全波束赋形方案的性能,而实现复杂度显著降低。2.研究单输入多输出系统中,利用神经网络实现全双工合法接收端自干扰消除和信号合并的方案。合法接收端在接收信号的同时发送人工噪声干扰窃听者,但人工噪声也会进入合法接收者的信号接收通道。设计了两个神经网络,一个用于各接收天线信号的合并,另一个根据发送通道发送的人工噪声重构自干扰,用于接收信号的自干扰对消。对所设计的方案进行了仿真和分析,仿真结果证明所设计合并器的性能与准确信道状态信息的最佳合并器的性能相近,而干扰对消的效果也达到了预期。