随着人们现代生活对无线通信需求的与日俱增,有限的频谱资源成为限制通信业务发展的重要因素之一,而一味地增加传输信号带宽或者利用宽带信号也无法保证通信业务不断发展的需要。因此,在当前频谱资源紧张的背景下,频谱资源的有效利用以及传输有效性的提高是通信研究者迫切关注的研究方向。近年来,为抑制共信道干扰,保证传输信号的可靠性,研究者提出了物理层网络编码(Physical-layer Network,PNC)和信号空间对齐(Signal Space Alignment,SSA)技术。目前对这两种技术的研究侧重点在于和其它先进技术结合,应用于更多的信道模型中,而对技术本身在提高系统可靠性方面的研究较少。因此本文旨在研究中继通信系统干扰利用的传输可靠性问题。本文主要研究的应用场景是双向中继系统以及MIMO Y信道模型,以这两种典型的系统模型为通信场景,对中继协作通信中的物理层网络编码和信号空间对齐提出相应的改进方案,旨在改善通信系统的传输效率和误码率性能,保证信息传输的可靠性。本文重点研究内容有:首先,针对高阶调制物理层网络编码的中继映射带来的模糊检测问题,根据物理层网络编码的编码准则进行高阶映射设计。一方面控制调制信号幅值,设计调制解调映射规则以达到分离重合星座点的目的;另一方面从叠加信号星座图中相邻星座点之间的欧氏距离出发寻找合适的映射规则。然后,本文对提出的两种方案的性能从不同角度做了对比分析。其次,分析了信号子空间正交对齐的重要性,并对现有的利用用户端天线数冗余,实现信号子空间随机正交对齐算法进行了分析,指出该方案的局限性。分析发现,最差传输信道是制约系统性能的关键因素,通过算法设计改善最差信道的传输质量,就可以显著提高系统性能。因此,优先保证最差传输信道相应的用户发射功率,同时将其对应的交互信号在中继形成的空间对齐方向最先确定,通过信号空间的选择增益来弥补其本身性能不佳对整体性能的影响。此外,作为改善整体性能的前提,需要设计判断系统中信道传输质量优劣的方法,从而实现对传输信道按传输质量从劣到优依次确定空间对齐方向的准则。将此结果应用到多址接入(Multiple Access Channel,MAC)预编码正交重构优化方案中,使得改进后的方案更易推广到多用户的信道模型中。最后,在多用户的MIMO Y信道模型下,融合改进的高阶调制物理层网络编码中继映射方案和优化的信号子空间正交重构算法,提出高阶调制下的信号子空间正交对齐算法。阐述了从MAC阶段到广播(Broadcast Channel,BC)阶段算法的实现步骤。之后,对提出的算法进行相关性能的仿真实验,从而验证算法的可靠性与有效性。