协作通信技术在周围空闲中继节点的辅助下,由多个相邻的单天线用户通过互享彼此的天线,形成虚拟的MIMO系统。协作通信具有抗击信道衰落,提高信号的覆盖范围,尤其对小区盲点或信号微弱地方的用户效果明显。协作通信最常用的中继转发协议有AF和DF两种,在不同信道环境下这两种协议的性能表现各有优缺点,合理的选择适宜的协作方式能够有效提高系统性能。HDAF中继协议根据AF、DF的特性,有效克服了采用单一协作方式的不足。另一方面,协作通信因中继节点的参与,将传统的单跳通信变为多跳通信,致其更易受到非法用户的窃听。以上这些问题仍然是协作通信研究中的热点和难点,本文围绕协作通信HDAF中继协议、物理层安全性这两方面展开研究。具体工作包括以下两个方面:一、针对HDAF协议下最优中继集合选择困难的问题,提出了基于信道统计特性顺序排列的中继选择算法。首先在各节点等功率分配下分析了各中继信道统计特性的参数运算,得到了满足系统中断概率最小的中继集合,很大程度降低了运算复杂度。仿真表明,在相同情况下,与传统中继选择算法相比,这种算法的平均中断概率更低。其次对参与通信各节点的功率重新分配,系统性能得到了进一步提升。二、针对存在多源-多中继的无线窃听网络,提出了一种基于功率分配的最优节点选择方案。该方案以最大化安全传输速率为目标,综合考虑主信道和窃听信道的通信质量。首先给出了在总发射功率受限下的任意链路的最佳功率分配方案,并在此基础上设计最优节点选择方案,随后推导了在高信噪比下系统安全中断概率的闭式表达式。仿真结果表明,与传统的MAX-MIN选择方案相比,本文提出的方案一定程度上降低了安全中断概率,具有更高的安全性能。