近几十年来,无线通信的各种新技术飞速发展,比如认知无线电、协作中继、多输入多输出等。另一方面,为了减少网络能耗进而减少环境污染,以及满足高频谱效率和高功率效率的要求,无线通信网络也从简单的蜂窝网发展到了一些新型的能提供高频谱效率、高能量效率的新形态无线网络,比如终端直通网(Device-to-Device Networks)、全双工网络(Full-Duplex Networks)、虚拟多天线网络(Virtual Muiltiple-Input Multiple-Output Networks)等。在这些新型的无线通信网络中,如何有效地分配资源、选择最优的通信模式以及进行干扰管理就成为了提升网络性能的关键。本文以蜂窝与D2D混合网络作为研究对象,主要研究了如何通过混合网络中的D2D通信无线资源管理和干扰管理来提高该混合网络的网络容量和服务质量(QOS)。本论文的主要工作包括：1. 研究了混合网络中的面向服务质量保障功率分配和模式选择机制。建立了不完全信道状态信息的信道分析模型,提出了基于不完全信道信息的D2D联合功率分配与模式选择(Joint Power Allocation and Mode Selection, JPAMS)算法,从而在满足用户服务质量(QoS)约束条件下最小化总发送功率,以及选择最优的通信模式,为混合网络资源分配和模式选择机制提供了一个崭新的视角。具体如下：首先分析了不完全信道信息对最优功率分配的影响,通过将功率分配的最优化问题转化为凸优化问题,我们推导出了最优功率分配解的闭式表达式；然后以总发送功率最小为原则进行最优模式选择,同时保证了蜂窝用户和D2D用户的服务质量(QoS)。我们的分析表明当考虑到不完全CSI对JPAMS算法的影响时,可以在一定程度上避免消耗更大的功率。因此,对于D2D通信而言,考虑不完全CSI对系统性能的影响是非常重要的。2. 研究了单小区上行混合D2D通信系统在时分双工模式的干扰对齐策略,得出的干扰消除机制可以得到最优的网络自由度。与单纯蜂窝通信网络相比,基于干扰对齐的k对D2D用户的混合网络的自由度提高了(k-1)/2倍。并且,本论文还推导出了基于干扰对齐的最优功率分配算法,使得总速率性能得到明显的提高。然而,干扰对齐算法的实现需要在各发送端已知混合网络的全局信道信息,从而带来的网络开销很大,算法的实用性较差。因此,本论文该部分的内容仅为该算法在理论上的探索,如何在不需要全局信道信息可知的情况下,设计基于TDD模式的分布式干扰对齐是今后工作需要进一步研究的问题。3. 研究了多小区下行混合D2D通信系统在时分双工模式的干扰对齐策略,接收端利用其自身干扰信道信息来计算发送预编码矩阵,从而实现干扰对齐。由于该算法带来的性能消耗较小,因此,本论文该部分的算法内容具有较大可行性和实用性。本论文也将不同的发送预编码矩阵设计下的干扰对齐算法所对应的总速率性能进行了对比。分析表明基于干扰对齐的预编码设计方案的性能远远高于自私型预编码设计方案。4. 研究了蜂窝网络下的D2D全双工(D2D full-duplex)混合网络的干扰管理问题。针对混合网络的全双工双向通信链路,建立了k-用户干扰信道模型。不同于现有的全双工自干扰消除技术,结合干扰对齐原理,本论文提出了联合互干扰和自干扰干扰对齐算法。通过在发收两端分别设计发送预编码和接收预编码将对齐的干扰消除。对于全双工中继D2D单向传输,针对2-Phase迭代干扰对齐全双工互干扰抵消算法存在着用户数受限的问题,提出了适用于任意k对D2D用户的Multi-phase全双工迭代干扰对齐方案。该方案在扩展D2D用户数的前提下保证了网络自由度。