全双工双向中继系统是通过全双工中继节点,两个全双工端节点同时同频地完成信息交换的双向传输系统。它在节省时隙资源的同时,能更加高效地完成信息传输,是5G移动通信系统的重要研究内容之一。与此同时,由于无线传输的广播特性和开放特性使得传输信号易被窃听,其安全性也备受关注。物理层安全作为底层安全技术,仅仅利用信道的随机性提高系统安全性,可以作为高层协议加密算法的一种保证。本文针对全双工双向中继系统的物理层安全进行研究,具体内容如下:首先,在存在一个被动窃听节点的前提下,针对有多个放大转发(Amplify-and-Forward:AF)中继节点的全双工双向中继系统,本文通过中继选择策略来提高系统的安全性能。该策略通过最大化系统安全容量的准则来选择最优中继节点,并分析推导出该策略下系统安全中断概率的闭式表达式。通过数值仿真与蒙特卡洛仿真的对比验证了理论推导的正确性,并且显示基于最优中继选择策略的全双工中继系统较传统单中继系统和半双工系统,在安全性能方面都有明显的提升。其次,针对全双工双向多输入多输出(Multiple Input Multiple Output:MIMO)中继系统,在存在潜在窃听节点的情况下,本文提出新的联合预编码和协作干扰策略来提高系统的安全性能。该策略假设窃听信道状态未知,AF中继节点在转发信号的同时发送人工噪声(AN)信号来干扰窃听节点。本文设计AN使其对主链路传输影响最小,设计用户预编码实现窃听等效信道不满秩,削弱窃听节点性能,并在此基础上通过联合优化发送预编码矩阵和AN矩阵实现主链路容量最大化。该策略基于遗传算法的思想,在节点的发送功率限制下通过迭代多次得到预编码和AN设计的联合优化解。仿真结果表明,本文提出的联合优化策略较传统策略有效地提高了全双工双向MIMO中继系统的安全性能。综上,本文针对全双工双向中继系统,通过中继选择、预编码和协作干扰策略提高了系统安全性能,为全双工中继系统的物理层安全技术理论提供支撑,具有一定的应用价值。