无线通信技术的广泛应用对无线通信系统的有效性和可靠性提出了更高的要求。协作通信作为对抗无线信道多径衰落的有效技术,利用网络中闲置的节点作为中继,可实现虚拟的多天线系统。而基于物理层网络编码技术的双向中继系统可以在一定条件下解决节点间相互干扰的问题,同时可以提高频谱效率,近年来被广泛研究。本文主要研究了基于物理层网络编码的双向译码转发中继系统的关键技术,主要工作及创新成果如下:（1）为了提高基于物理层网络编码的多天线双向译码转发中继系统的性能,本文采用最小均方误差检测对中继节点接收的信号进行处理。在中继和两节点的信道质量相同时,对误码率和信道容量性能进行了分析。仿真结果表明,采用最小均方误差检测的双向中继系统可以进行更可靠传输,同时可以提高吞吐量。（2）多天线双向译码转发中继系统的中继和两源节点之间的信道并非总是对称的。第二时隙中继到两源节点的两信道非对称时,数据传输速率由于受弱链路质量的影响而使得强链路质量的信道增益没有被充分利用。为了使各链路质量的信道增益被充分利用,针对中继和两源节点之间的信道非对称的多天线双向译码转发中继系统,本文提出了一种新的传输方法,该方法采用先验比特信息,使弱链路质量的节点在接收信号时根据已知的比特信息,通过映射的子集来解调信号,符号间的最小欧氏距离将发生变化,因此两链路可以以与各自信道质量所对应的数据传输率进行传输,且能达到相同误比特率的要求;为了使信道质量任意变化的情况下达到相同误比特率要求,提出了一种基于自适应调制的传输方法,该方法将中继节点到源节点的信噪比分为四个区域,中继依据信噪比所在的区域自适应调整调制方式。仿真结果表明两种方法可应用到双向中继的实际场景。（3）无线通信的中断在质量较差的网络中是比较常见的,本文研究了同时存在信道估计误差和同信道干扰的双向译码转发中继系统的中断性能。针对源、目的节点同时受到同信道干扰的双向译码转发中继系统,首先定义了端到端的信噪比和信干比,并将中断概率的表达式转化为多个变量的函数,然后求出了变量的概率分布函数以及概率密度函数,导出了对称和非对称两种情况下的系统中断概率的闭合表达式。根据闭合表达式得到了当中继功率趋于无穷大时的渐近表达式。仿真结果表明,理论分析结果与仿真结果相吻合,且随着信道估计误差或干扰数的增加,系统的中断概率也增加。（4） Nakagami-m衰落是更为一般的信道衰落分布。本文研究了Nakagami-m衰落信道下的双向译码转发中继系统的中断性能。针对源、目的节点同时受到Nakagami-m衰落的多个同信道干扰的双向译码转发中继系统,首先通过矩估计得到了源节点受到的多个Nakagami-m衰落的干扰信道的参数,求出了变量的概率分布函数和概率密度函数,然后导出了中断概率的闭合表达式。根据闭合表达式得到了当中继功率趋于无穷大且信道衰落参数为1时的渐近表达式。仿真结果表明,理论分析结果与数值仿真结果一致。