无线网络在5G、B5G超可靠低时延通信中占据重要地位。由于无线信道的开放性特点,保证无线网络通信安全性至关重要。传统密码学方法由于计算复杂度高、窃听者计算能力有限假设以及秘钥集中管理等特点,难以应用于无线通信的安全性实现。在此背景下,物理层安全（Physical Layer Security,PLS）技术仅利用无线信道的固有属性保证无线通信安全。协作通信技术通过中继转发提高传输可靠性,干扰源选择提升传输安全性,是PLS的典型方法之一。本文将无线通信的协作式物理层安全方案作为研究对象,以提高物理层安全性能为目标,从中继和干扰源选择、节点社交关系及中继节点是否可靠三个方面展开研究。首先,考虑窃听者信道状态信息（Channel State Information,CSI）已知程度,设计中继和干扰源联合优化选择方案,提高网络安全性。考虑窃听者完美CSI已知,针对传统的中继和干扰源联合选择（Joint Relay and Jammer Selection,JRJS）方案难以选择最优干扰源问题,提出一种改进的JRJS（Improved JRJS,IJRJS）方案,降低计算复杂度的同时提高安全性能;考虑窃听者局部平均CSI已知,提出基于局部平均最佳中继选择（Average Optimal Relay Selection,AORS）方案,在中继较少、通信距离较长的场景中可以实现更高的安全性能。考虑窃听者CSI完全未知,通过IJRJS确定最优中继,设计最佳干扰源集合选择方案（Finding the Optimal Jammer Set,FOJS）,从而为窃听者CSI未知时如何保证传输安全性提供一种新颖的解决思路。其次,利用局部关系网（Local Friendship Circle,LFC）和远距离关系网（Long-range Friendship Annulus,LFA）刻画节点间的社交关系属性,研究具有社交关系的协作通信机制并设计了四种协作中继与干扰源选择方案。利用随机几何工具推导连接中断概率（Connection Outage Probability,COP）和机密中断概率（Secrecy Outage Probability,SOP）的封闭表达式,理论和仿真实验结果证明:多干扰源选择是提高网络安全性的一种有效方式。最后,探索不可靠中继网络中如何保证双向传输安全性的问题。基于最大双向保密率准则,对不可靠中继选择方案进行理论建模。构建接收信号强度的累积分布函数和概率密度函数表达式,推导SOP的封闭表达式。在此基础上,基于最小-最小准则,提出一种双向安全通信的不可靠中继选择方案。仿真实验验证了理论分析的准确性和有效性,进一步为不可靠中继存在时如何保证传输安全性提供一种新颖的解决思路。