本文在无线通信向高速化、宽带化、泛在化方向发展,而无线频谱资源却日益稀缺的境况下,深入研究5G的关键技术——全双工中继技术(Full-Duplex Relay,FDR)。随着无线电通信的发展,频谱利用率低的传统半双工中继(Half-Duplex Relay,HDR)系统渐渐无法满足现代无线通信的需求。全双工中继系统因为能够提供更广的覆盖范围、更高的系统吞吐量以及更有效的频谱效率,而受到广泛关注。然而,全双工中继技术在实现过程中,由于通信双方是同时、同频的发送和接收消息,中继站出现信号泄露造成了严重的环路自干扰问题,并使系统性能大大降低。本文的目标就是寻找消除全双工中继系统中的自干扰信号的有效方案,进而提升系统的性能。本文首先在对现存的几种空域自干扰消除方案作了简单的分类比较。然后对其中的迫零方案和最大化信噪比方案进行重点研究,并指出迫零方案无法运用于自干扰信道满秩情况的缺点以其原因。随后本文提出了一种新的空域自干扰消除方案,即基于最大化信噪比的迫零方案。其思路是以系统SINR为目标函数,中继功率限制和自干扰迫零消除条件为约束条件,构建最优化问题,并通过解最优化问题来获得使系统容量优化的最优匹配滤波器的解。通过之后的仿真证明论了这一新方案大大提升了系统性能。基于双向全双工中继系统的系统容量理论上是单向全双工中继系统的两倍,但其也存在自干扰问题,因而研究双向全双工中继系统的自干扰抑制方案很有价值。所以本文在单向全双工中继系统的迫零法的基础上,辅助采用控制终端功率来实现双向全双工中继系统的自干扰消除。最后通过仿真分析了采用此方案后的系统性能。