互联网的普及以及无线网络大规模的应用，给人们的生活带来了便利，但是窃听和对数据的恶意使用给整个社会造成了严重的损失。无线通信，由于它的广播特性，特别容易被窃听。人们在考虑无线通信系统的有效性和可靠性的同时，也更加关注其安全性。基于信息论的物理层安全，可以实现完美安全，穷举的攻击方法对它毫无意义。因此，物理层安全越来越受重视。另外，中继通信技术是现代无线通信系统中的关键技术之一。未来，借助中继网络中的通信会越来越广泛。针对中继通信中的安全问题，本文研究了在中继网络中，如何应用物理层安全技术来提到通信系统的安全性。本文首先分析在单向中继保密通信网络中的中继放置问题。基于两种不同的中继转发模式，译码转发和随机化转发，本文给出了四节点（源节点、中继节点、目的节点和窃听节点）系统中最优的功率分配方法。分析结果表明，最优的中继节点的位置在源节点和目的节点的中点附近。在单小区蜂窝网络中，本文给出了移动用户在小区不同位置时的安全中断概率，分析表明，在没有中继站时，小区边缘用户很难和基站建立安全连接。在这两个系统模型中，本文都发现随机化转发的中继策略优于译码转发的中继策略，并且，当信道衰落越严重时，中继带来的性能增益越大。本文还分析了有非信任中继的双向安全通信系统中的预编码设计。两个源节点通过中继节点进行通信，与此同时，不希望中继节点译出保密信息。本文提出了三种不同的传输模式：不利用中继的直传模式，利用中继的两时隙和三时隙传输模式。针对利用中继的两时隙和三时隙模式，本文给出最优的中继节点预编码结构，并给出了联合优化源节点和中继节点的预编码设计的迭代算法。进一步，本文对中继节点和源节点功率趋于零和趋于无穷时的情形进行了分析，得到了渐近最优的预编码设计方法。分析表明，当所有节点的功率趋向于无穷时，利用信号对齐技术，两时隙传输能够得到比直传模式和三时隙模式更好的性能，并且可以降低对源节点天线数的要求。