随着无线通信技术的迅猛发展,特别是最近十几年来,各种新型的无线通信系统、新的无线应用与通信数据业务服务不断涌现,相应地带来用户数量的急剧增加与无线移动设备的爆炸式增长。而承载这一切的频谱却面临着资源日趋紧张、现有的固定频谱分配方式导致的频谱利用率低、分配不合理以及电磁环境日益恶化等严峻挑战。使得本来就稀缺的频谱日益拥挤,供需矛盾日益突出。因此,以蜂窝、认知无线电、MIMO、协作中继等旨在提高频谱资源效率的无线通信技术不断被提出。其中协作中继技术利用中继节点之间的协作,构成虚拟的MIMO天线阵列,具有增加无线网络的覆盖范围、获得分集增益、提升信道容量与提高传输速率等优点,可以提升系统接收端的接收性能,获得更高的无线传输可靠性。但同时,协作中继网络也面临着无线信道开放性所带来的严峻挑战。一方面,无线信道的广播特性造成协作中继传输容易被恶意窃听或拦截,且协作中继网络存在节点更多,网络结构更复杂,基于网络协议栈的高层安全机制不利于部署实施,导致协作中继网络的安全问题日趋严重,研究在协作中继通信中提高无线通信系统的安全性能已经成为一个关键技术问题。物理层安全技术成为了解决该问题的一个可行途径。其利用无线信道的各种传播特性,通过在物理层提高合法节点间互信息量的同时降低窃听节点获取的信息量,可以从根本上解决无线通信的安全问题。因此,针对物理层安全的研究是无线通信安全发展的必然要求。另一方面,当协作中继技术等高资源效率技术应用到无线通信网络时,在提高频谱资源效率的同时不可避免地带来了同信道干扰,导致无线通信系统面临着日益复杂的各种通信场景和不可忽视的干扰问题。无线通信系统已经变成了干扰受限系统。同信道干扰已经取代噪声成为影响和制约无线通信系统性能的重要因素,同信道干扰问题已经变成无线通信系统中普遍存在且急待解决的关键问题。然而,到目前为止,现有的协作中继网络模型不能很好地关联中继选择策略、干扰问题分析与无线传输安全。对协作中继网络的研究,应联合考虑物理层安全与同信道干扰,针对不同的通信场景,建立不同的干扰条件下的安全通信框架进行研究。针对上述问题,本论文同时考虑了物理层安全与同信道干扰,以协作中继网络中的物理层安全实现为主线,研究了同信道干扰存在情况下的协作中继网络的可靠性与安全性的性能分析。基于物理层安全,对存在同信道干扰的协作中继网络安全可靠传输问题进行较为系统地研究,定量地分析了同信道干扰对协作中继网络的物理层安全的影响,为实际无线通信系统中的协作中继网络设计和优化提供了一定的理论基础。本论文取得的研究成果概括如下:首先,考虑了多个同信道干扰存在下的协作中继网络模型,提出了基于SINR最佳中继选择策略。分别推导了瑞利衰落环境下采用解码转发机会中继时闭式中断概率和截获概率表达式,分析了系统的SRT性能。通过仿真结果验证了理论分析,证明了SRT的存在。进一步地,通过比较仿真结果,表明不管增加中继节点数目还是同信道干扰节点数目,都可以有效地改善无线通信的SRT性能,即同时改善无线通信的安全性与可靠性。此外,相对于传统的直接传输方案,中继选择方案可以获得更好的SRT性能。其次,研究了在同信道干扰下的多源多中继协作网络的安全可靠传输。提出了一种在多源多中继场景下的最佳的源与最优的中继的选择准则,讨论了系统的SRT性能。设计了根据直接链路的SINR选择最佳源节点的选择策略。采用解码转发选择协作传输策略来选择最优的中继节点。进一步地,考虑到多个同信道干扰的存在,分别推导了瑞利衰落环境下精确的中断概率与截获概率表达式,分析了系统的SRT性能。仿真结果验证了我们的理论分析,证明了在中断概率性能与截获概率性能之间存在性能折中。仿真结果也表明,所提出的最佳的源与最优的中继的选择方案的SRT性能要优于传统的直接传输方案。同时,随着源节点数目、中继节点数目与同信道干扰节点数目的增加,都可以获得更好的SRT性能。最后,考虑了同信道干扰条件下的双向协作中继传输模型,设计了基于译码转发机会中继的双向中继选择方案。考虑到同信道干扰的存在,分别推导了瑞利衰落环境下中断概率和截获概率的闭式表达式,并给出了相应的SRT性能分析。同时,出于性能比较的目的,我们也分析了传统的直接传输方案的安全可靠传输性能。通过仿真结果验证了理论分析,表明了截获概率性能(安全性)会随着随着中断概率性能(可靠性)的降低而相应地改善,反之也成立。由此证明了中断概率性能与截获概率性能之间存在性能折中。仿真结果也表明,所提出的双向中继选择方案可以获得比传统的直接传输方案更好的SRT性能。此外,随着中继节点数目与同信道干扰节点数目的增加,系统SRT性能都可以有效地改善。