随着移动互联网时代的兴起，人们希望可以随时随地接入因特网，浏览新闻，观看视频，并通过微博分享他们的所见所闻，这就对无线通信提出了高速率和高移动性的要求。为了满足这些要求，抑制多用户共信道干扰，提高信道容量成为了下一代移动通信技术中的重点研究课题。物理层网络编码技术（Physical-layerNetwork Coding，PNC）可以将无线链路物理层的干扰信号转化为有利因素加以利用，从而提高系统的吞吐量和抗干扰能力。无线多输入多输出（Multiple InputMultiple Output，MIMO）中继通过引入基带信号处理技术能够在扩展网络覆盖范围的基础上，对干扰和噪声进行抑制，增加信道容量。首先，本文研究了物理层网络编码技术，发现在信源发送二进制数据，采用基于异或的网络编码运算时，只能应用多进制移相键控（Multiple Phase ShiftKeying，MPSK）调制方式下的PNC，应用高阶正交幅度调制（Multiple QuadratureAmplitude Modulation，MQAM）下的PNC会产生模糊映射问题。针对这种问题本文提出了在MQAM中采用非均匀调制的改进方案。然后，本文提出了一种无线MIMO中继干扰信道模型，在该信道中，每个用户发送一路组播信息给其他所有用户并接收其他用户的组播信息，整个通信过程通过多址接入（MultipleAccess，MAC）时隙和广播（Broadcast，BC）时隙来完成，将这种信道模型称为MIMO高斯多向中继信道。论文提出了基于PNC的干扰抑制传输方案，在MAC时隙应用了基于加密信息的信号空间对齐技术，即用户端通过联合设计预编码向量使得中继能接收到一组加密信息链；在BC时隙应用了联合链式网络编码译码的迫零检测技术，实现信息链的分离和译码。在方案中引入论文中提出的改进的PNC映射，使方案可以实现MQAM调制下的信号传输。最后，本文通过对方案进行仿真和分析，说明了方案在提高了无线系统的信道容量，增强了信息保密性方面的优势。