无线通信由于其信道的广播特性,极易受到包括窃听和拦截在内的恶意安全攻击,因此无线通信中的安全问题一直是产业界和学术界关注的热点问题。与传统的基于密码学的安全加密技术相比,物理层安全具有许多优点,例如,利用无线信道的物理特性经过适当的编码和信号处理,可以保证保密消息仅由其预期的接收端解码,从而杜绝了保密信息被窃听以及加密被破解的可能性。此外物理层安全不需要消耗大量的通信资源或基础设施来在合法收发端之间共享密钥,也不需要考虑如何设计以及执行安全协议。因此,近年来物理层安全得到了越来越多的关注,并且已经成为无线通信安全领域的一个重要方向。本论文针对几种无线通信的实际应用场景,分别研究了在典型三节点单天线无线通信场景下通过两阶段传输实现物理层通信安全的方法,利用新型的快速转发全双工节点作为协作节点实现物理层安全通信的方法,在只有发送端具有全双工能力的情况下实现物理层安全通信的方法,以及研究D2D协作组播通信场景下的物理层安全通信问题。具体研究内容包括:(1)针对典型的三节点单天线无线通信场景下的物理层安全问题,提出了一种起源于接收端的、由两阶段传输组成的无线安全通信方案。在第一阶段,接收端向发送端发送一段只有接收端自己知道的伪随机序列,在第二阶段,发送端直接将其保密信息与接收到的伪随机信号相加后发送。接收端利用伪随机信号的强自相关性对信道进行估计,并且进一步移除伪随机信号,最终检测出保密信息。相反的,在两个阶段的传输中没有任何导频信号,所以窃听者无法进行信道估计,同时还会受到来自伪随机信号的干扰,进而难以获得任何保密信息。进一步地,利用平均互信息量来计算窃听者的窃听能力从而分析出所设计的通信机制的安全通信性能。仿真结果表明,即使在窃听者的平均信道质量远好于接收端的平均信道质量的情况下,所提方案也能获得较为理想的安全信道容量,并且不存在由于发送端无法得知窃听者的信道状态信息而造成的保密信息泄露的风险。(2)为了提高协作中继通信的物理层安全传输性能,提出了一种利用快速转发全双工节点作为协作中继节点用以实现物理层安全通信的机制。快速转发全双工中继节点转发的信号可以被设计成提高接收端信道的信噪比并且减弱窃听者信道的信噪比,从而实现物理层安全通信。为了获得最优的转发方案,建立了以最大化安全信道容量为目标的优化问题,该问题是一个广义分式规划,采用二分法进行迭代求解,迭代的每一步中都会包含一个新的非凸优化问题,进而将其拆分成两个子问题分别求解,进而得到最优的信号处理方案。仿真结果表明,所提出的快速转发全双工协作中继方案相对于对比的全双中继方案能够以更小的功耗获得更高的安全信道容量。(3)为了实现从全双工发送端到半双工接收端的无线通信物理层安全,本文设计了一种两阶段传输的安全通信机制。第一阶段接收端发送一段只有接收端自己知道的人工噪声序列,同时发送端发送另一段只有发送端知道的人工噪声序列用以干扰窃听者窃听接收端发送的人工噪声。在第二阶段中,发送端将第一阶段接收到的信号叠加在需要保密传输的信号之上再次发送出去。因为接收端可以从中直接减去人工噪声部分但是窃听者却无法减去,所以窃听者将会受到严重的干扰,从而实现物理层安全通信。进一步地,利用高斯拉盖尔积分法,分析出在瑞利衰落信道下所设计的机制的可达安全速率和安全中断概率。数值结果验证了所提出的方案可获得较传统方案明显领先的安全通信性能。(4)针对D2D协作组播通信面临的安全问题,本文借助分布式波束成形技术,使得D2D发送组可以协作地广播保密信息,并且尽可能的提高D2D接收组中信干噪比最差的用户的信干噪比,同时降低窃听者们的信干噪比从而实现D2D协作组播通信的物理层安全。不仅如此,基站与蜂窝用户之间的通信信号也被用作协作干扰信号来干扰窃听者们对保密信息的窃听。为了获得最优的波束成形向量,建立了相应的数学优化问题并进行求解。进一步地,研究了当数个窃听者进行协作窃听时如何设计波束成形向量的问题。最后提出了低复杂度的算法以获取次优的波束成形向量。仿真实验表明所提算法能够有效地提高D2D协作组播通信的安全速率以及蜂窝用户的可达速率,并且次优算法也能够快速地获得较为理想的波束成形向量。