随着移动通信产业步入4G时代,以及面向5G研究的逐步开展,移动通信网络的拓扑沿着密集覆盖的趋势发展,网络架构也沿着异构方向演进,增加了各类功耗较低、提供热点覆盖的新型节点,如Pico-cell、Femto-cell以及中继节点(Relay Node)。由于这些变化,加之为提高频谱效率而采取的各小区频率完全复用,节点间的同频干扰问题凸显,并成为当前限制移动接入网络容量进一步提升的主要瓶颈之一；其中,中继节点面临的干扰是整个移动通信网络干扰问题的重要组成部分,也是无线中继技术当前面临的主要难题之一本文围绕无线中继网络中的同频干扰这一主题,从三个方面展开具体研究工作。首先,对同频干扰环境下的双向中继系统的性能进行了理论分析,在接受干扰存在、且未尝试克服之的情况下,进行中继系统性能的初步探究。接着,出于缓解干扰的目的,本文的第二项工作研究了抑制干扰的中继协作策略设计,在信道时变波动的环境中,提出了一种根据过时及统计信道状态信息(Channel State Information, CSI)建立干扰控制的中继备选子集方法,减轻中继节点的转发对周围同频通信节点造成的干扰；并与中继选择方法结合以提高中继系统本身的抗干扰能力。最后,作为最终消除中继系统某些形式干扰的一种尝试,在第三部分内容中考察了一种近期提出的特殊干扰消除技术,称为“盲已知干扰消除”(Blind Known Interference Cancellation, BKIC),研究了该方法用于中继网络传输方案设计以提高频谱效率的问题,并针对实际传输系统探讨了方法本身的改进问题。针对双向中继系统在干扰环境下性能分析问题未有妥善解决的研究现状,本文避免了现有研究多采取简化模型以简化分析难度、但造成适用范围受限的缺点,采用了具有一般性的干扰场景模型,考虑所有节点均受到多个节点干扰的情形,对于两种常用的双向中继转发方式,即2时隙/3时隙物理层网络编码(2-Time Slot/3-Time Slot Physical layer Network Coding,2TS/3TS PNC),求解了两种方式的端到端信干噪比(Signal-to-Interference-plus-Noise Ratio, SINR)的统一表达式；根据中继节点与源节点的发送功率关系,为其建立一对简化分析的上下界,分别对应于功率较高的专用中继站及功率较低的用户协作两类应用背景；根据理论上下界求出了瑞利(Rayleigh)衰落信道下的中断概率及调制差错概率闭式解。通过数值仿真验证了所提理论界与仿真值的吻合程度；同时,针对若干系统参数的考察揭示了一些重要因素对系统性能的影响,包括：中继-源功率比、中继节点位置及中继为双向转发分配的功率比例。在实际的移动通信系统中,信道状态往往存在随时间的波动性,因此本文的第二项工作研究了在信道经历时间相关性衰落的条件下,根据过时及统计CSI进行中继选择的性能,分析了两种现有的中继选择方案,即最大化过时SINR与最小化条件中断概率,在存在同频干扰情况下的端到端中断概率性能。紧接着,为减轻中继节点对周围同频通信节点的干扰,本文提出一种干扰控制的中继备选子集建立方法,根据过时及统计CSI,将可能造成附近同频节点中断性能严重下降的中继节点排除出中继选择范围；再结合前述选择策略,实现了中继子系统与周围同频子系统的性能折中,以及整体系统的性能优化。相比现有的基于SINR或中断概率绝对门限值的方法,所提方法的关键参数为一个适用于任意场景的相对门限值。最后,为克服单中继选择方法在CSI误差条件下的分集增益损失,这一部分的研究内容还涉及在信道波动与干扰双重因素影响下,多中继转发策略的初步研究,证明了该类方法在重新获得满分集增益方面的优势,以及过时CSI在维持较低的中继重传次数中的重要作用。本文的第三项工作内容将重点放在中继网络干扰消除方法上,研究了BKIC在中继网络中的应用问题。首先针对半双工中继需要占用额外的信道用于转发这一缺点,提出了一种基于BKIC的中继网络上行传输方案,对于中继协作的接入网络,在基站执行BKIC可以调度中继协作用户与非协作用户使用相同的信道,而由基站实现二者信号的分离与干扰消除,相比现有的正交传输方案,以及在可获得非理想干扰CSI条件下采用串行干扰消除(Successive Interference Cancellation, SIC)的方法,所提方案可获得显著的性能提升。接着考虑了BKIC方法在面向4G系统传输技术时存在的应用问题,因原BKIC方法不适用于子信道长度较短的并行信道传输系统如正交频分复用(Orthogonal Frequency-Division Multiplexing, OFDM)——因处理长度不足将导致过强的输出残余误差；亦不适于存在多路干扰的多输入多输出(Multiple-Input and Multiple-Output, MIMO)系统——因逐路的BKIC不能完全消除所有干扰成分而同样产生较强的残余误差。为此,在该部分研究内容中,我们先后提出了一种并行信道联合BKIC方法,以及一种基于空时块编码(Space-Time Block Code, STBC)的BKIC方法,分别解决上述问题。仿真结果表明,所提方法在很大程度上能够实现显著的差错性能提升,使BKIC方法在未来的无线中继网络中具备应用的可能性。