近年来,随着超五代移动通信系统（Beyond the 5-th Generation,B5G）的迅猛发展,智能移动互联网得以全面普及,无线业务呈现爆发式增长趋势。定位于大带宽、低时延和广连接三大应用场景,B5G通过与工业物联网（Internet of Things,Io T）及智能家居等垂直应用深度融合,对无线通信网络的有效性及可靠性提出了更高的要求。随着系统中用户节点数目的快速增长,无线信道固有的资源受限特性势必会导致系统中的干扰加剧及性能降级。因此,面向B5G通信系统实际应用场景,实现频带资源受限下的干扰消除,充分发挥B5G系统技术优势,具有重要的理论研究意义和工程应用价值。干扰消除现有研究工作主要分为自干扰消除与多址干扰消除两个方面。在自干扰消除方面,目前主流的实现方法可分为天线域自干扰消除、射频域自干扰消除及数字域自干扰消除等,需加载复杂的处理算法或增加额外的高功耗专用器件,无法满足能量及功率受限的实际应用场景需求。在多址干扰消除方面,受制于频谱资源有限等因素,现有的研究成果主要集中于非正交多址接入（Non-Orthogonal Multiple Access,NOMA）,通过功率域等非正交资源的复用,提升传统时/频/码等正交资源受限下的接入性能,但经典串行干扰消除（Successive Interference Cancellation,SIC）存在误差传播、多用户排队时延过长等问题。鉴于以上原因,本论文以吞吐量和中断概率为出发点,在后向散射通信及下行链路NOMA两个典型无线通信场景中,进行了基于物理层网络编码（Physical-layer Network Coding,PNC）的自干扰消除和多址干扰消除技术研究,取得了如下三方面创新成果:一、基于PNC的自干扰消除研究面向能量和功率受限的后向散射通信场景,提出一种双天线的同时同频全双工通信架构,并针对其中的自干扰问题,构建了后向散射PNC映射模型,提出一种PNC信息域自干扰消除算法,通过多状态叠加包异或解调,实现自干扰条件下的信息恢复。仿真结果表明,所提方法的吞吐量性能增益最高可达100%。基于上述成果,设计开发了具备自干扰消除的全双工后向散射电路原型,实测结果证明了所提方法的有效性。二、基于PNC的两用户多址干扰消除研究针对下行链路两用户全双工协作NOMA场景中的多址干扰问题,提出一种基于PNC的协作NOMA多址干扰消除策略,建立了PNC与SIC的联合解调模型,与传统SIC相比,所提策略充分利用了可解信息,增加了一种解调分集增益,提升了多址干扰条件下的信息恢复成功率。进一步地,推导了瑞利衰落信道下的中断概率闭合表达式,证明了所提方法的有效性。仿真结果表明,相比传统的基于SIC的协作NOMA策略,所提方法的中断概率下降1个数量级。三、基于PNC的多用户多址干扰消除研究针对下行链路多用户NOMA场景的多址干扰问题,在前述基于PNC的两用户NOMA多址干扰消除策略成果的基础上,提出了一种基于PNC的多址干扰消除策略（Network-Coded Interference Cancellation,NCIC）。与传统SIC相比,所提NCIC策略能够对叠加的信息进行整体解调恢复,提升了中断性能。进一步地,推导了NCIC策略的边界条件,提出一种基于边界条件的自适应干扰消除策略（Adaptive NCIC,ANCIC）,依据边界条件,动态选择SIC和NCIC策略进行多用户多址干扰消除。仿真结果表明,所提出的A-NCIC策略的中断概率比传统SIC降低1个数量级。