协作中继系统通过各中继节点之间的协作延长通信距离、提高传输速率，拥有广阔的应用前景。该系统节点较多，网络结构复杂，开放性强，不利于部署过于复杂的高层安全机制，导致其安全性受到严峻挑战。使用物理层安全技术解决该问题是较为可行的办法。现有协作中继系统的物理层存在以下几个安全问题：1）中继通信系统模型未能很好的将中继信道与系统安全性相关联，对基于不同应用场景的系统模型研究较少。2）未能充分利用中继信道多个中继节点所具有的丰富信道特征，针对多中继节点协作的研究不足。3）对中继节点与合法接收者信道特征差异性的利用还不够充分，基于不可信中继节点的研究还有待完善。针对上述问题，本文以协作中继系统中的物理层安全实现为主线，研究发射节点具备多天线和单天线两种应用场景下，中继节点不可信时的多节点协作安全传输机制。主要工作集中在以下三个方面：1、针对发射节点具备多天线的场景，提出一种基于联合信道特征和人工噪声的物理层安全机制。该机制将中继前后的两个信道等效合并为一个，得到联合信道特征矩阵。然后以此为参数，增加人工噪声，解决了中继节点不可信情况下的安全传输问题，同时屏蔽了外部窃听者。给出了系统的保密容量，计算了最佳信号发射功率比例。仿真结果表明，随着信号功率占发射总功率比例的增大，系统保密容量先增大后减小。窃听者分布情况不同时，保密容量随中继节点数量N的变化趋势不同。2、基于上述场景，提出一种基于中继随机分集的物理层安全机制。利用多中继节点构造的复杂空域特征，通过调整天线发射权值，控制多个中继节点处的接收信号。合法接收者合并所有中继转发内容，得到原始信息并获得分集增益。单一中继收到的信号含有随机加权，无法正确还原信息真实内容。推导了天线最优发射权值，并对系统误码率进行了仿真。结果表明，在本安全机制下，窃听者误码率始终保持在50%左右，合法接收者误码率较上一种机制稍差，但实现上更为简单。3、在发射节点只有单天线场景中，提出了一种基于外部节点时分干扰抵消的物理层安全机制。将信息传输过程分成两个阶段：第一阶段，中继节点获得来自发送端和干扰节点的含噪信号，该信号为人工噪声和信息的叠加；第二阶段，目的接收端在干扰节点的协助消噪后还原出原始信息。由于中继节点和外部窃听者的接收信号始终伴随严重的噪声干扰，系统具有较高的安全性。仿真结果表明，窃听者和干扰节点处于不同地理位置时，系统均具有较大的安全传输速率，干扰节点处于发送端附近时，系统安全性能最好。