频谱利用率是衡量无线通信系统性能优劣的关键指标。面对稀缺的频谱资源,3GPP LTE-Advanced启动了异构网络的部署计划,通过增强网络密度提高小区的频谱利用率。它引入了小型接入点的概念,如微蜂窝、皮蜂窝、飞蜂窝和无线中继。这一类低功耗接入点一部分通过有线链路,即光纤和X2电缆与宏基站相连；另一部分则以无线信道作为回程链路。依靠交互信道状态信息,主从基站之间可以应用多点协同技术来规避干扰或者对边缘用户进行联合传输。与此同时,另一项新兴技术网络编码,以及物理层网络编码,逐渐发展为一个研究热点。它吸引众多学者的特征是：在双向中继信道中达到最大流-最小割定理的上限容量。物理层网络编码能够把干扰转化为有用信号,从而获得比传统的四时隙通信协议高出一倍的频谱利用率。当前学术界对于网络编码与异构网络结合的研究仍然较少,因此本文将探索两者之间的关系,分析联合物理层网络编码和协同多点技术所带来的潜在增益。文章重点研究两种异构网络的场景,其中基站和用户都配置了多根天线。根据不同的优化目标和约束条件,进行严谨的数学推导,给出高效的设计方案,并进行仿真。论文会给出信源端的波束赋型和信宿端的接受机方案。具体说来,论文主要研究包括：第一,提出了一种宏基站覆盖下有皮小区场景中的协同式联合物理层网络编码收发机,解决了小型站点双向中继信道和宏基站上行链路的干扰问题。设计的难点是,将双向通信的数据流对齐到同一空间层面上,以进行解码转发式的物理层网络编码；将其他的数据流对齐到正交方向,以进行空分复用。第二,提出了一种宏基站覆盖下有无线中继场景中的网络编码干扰协同技术方案。考虑到网络编码能把干扰转化为有用信号,本文研究了它在宏基站-中继协同中的应用,发现它可以提供更大的自由度。本文基于多天线的解码转发信道,首先推导了使用Nested Lattice码所能达到的信道容量；随后,通过迭代算法和拉格朗日乘子算法最大化协同区域的总速率。最后,搭建了仿真平台进行Monte-Carlo数值仿真,验证了论文提出的方案。通过物理层网络编码有效地提高了异构网络的频谱利用率。另一方面,研究表明干扰协调和收发机优化是保证增益的必要手段。