无线协作中继技术作为第四代移动通信关键技术之一，具有抗干扰能力强、系统通信速率高、通信质量好等优势，在提升无线通信的有效性与可靠性方面性能优越。但无线通信的高度开放性也给协作中继系统带来了严峻的安全挑战，物理层安全技术为解决这种问题提出了新思路。目前，无线协作中继系统的物理层安全方法研究仍存在以下不足：1)基于物理层安全的中继分组机制不完善，系统保密容量低；2)防止不可信中继窃听的方案功率利用率较低；3)当窃听方的天线数足够多时，现有协作干扰与随机加权方法失效。针对上述问题，本文以国家自然科学基金“无线通信信道特征等效下的物理层安全性研究”为依托，对协作中继系统的物理层安全问题展开深入研究。首先，针对单一协作策略下保密容量低的问题，提出一种基于协作波束成型的分组协作安全传输方案；为进一步提升功率利用率和防止不可信中继，提出一种基于联合随机加权的物理层安全方法。最后，针对窃听用户多天线下人工噪声与随机加权方法失效的问题，提出一种基于空域跳信道的二阶跳空传输方案。具体研究内容如下：1、提出一种基于协作波束成型的中继分组协作物理层安全传输方案。首先，将中继前后两个信道级联，按照各中继级联信道增益大小将中继分成两组：协作干扰组和协作中继组；然后，协作干扰组中的中继相互协作，采用协作波束成型技术产生噪声波束，协作中继组中的中继相互协作采用协作波束成型产生信号波束；设计信号波束朝向合法用户，而噪声波束与之正交。最后，在总功率受限下，以最大化安全速率为目标进行功率优化分配。仿真结果表明：该方法比参考的中继协作方案所能获得的保密速率高，并且随着转发功率的增加而提升；相同功率下该方案中系统的性能提升最高可达0.6bps/Hz。2、提出一种基于联合随机加权的物理层安全方法。首先引入发送方与合法用户的直达径，构造从发送方到合法用户的联合信道；然后，发送方与中继相互联合，设计随机快变的加权系数，满足在发送方天线加权系数、中继放大转发系数与联合信道三个参数的共同作用下，合法用户接收信道稳定。仿真结果表明：不可信中继与外部窃听方的误码率(BER)逼近50%，而在信噪比(SNR)为10dB时合法用户的BER减小为103数量级。3、提出一种基于空域跳信道的二阶跳空物理层传输方案。发送方利用天线切换和跳空图样加权，构造基于等效空域传输信道的逐符号一阶跳空传输；中继虚拟成接收方多天线，利用时变波束接收系数进行加权转发，构造基于等效空域传输信道的逐符号二阶跳空传输。仿真结果表明：该方案能够保证合法用户BER的同时，窃听方BER逼近50%。