为了应对移动互联业务的爆发式增长,同时为用户提供无缝式网络覆盖,第三代伙伴合作计划组织在LTE-Aadvance标准中提出了异构蜂窝网络技术,通过在传统宏蜂窝小区中重叠布置低功率小型基站来提升系统的整体性能。与传统同构蜂窝网络相比,异构蜂窝网络能够有效改善系统的频谱效率和覆盖范围。一方面,小小区通过与宏小区共享传输频段,增加了频谱空间使用率,从而提高了系统的频谱效率。另一方面,小型基站一般被布置在宏基站信号较弱的区域或者通信热点区域,因而能有效改善宏小区的无线覆盖,为用户提供泛在的接入服务。随着对异构蜂窝网络研究的不断深入,如何进一步提高系统容量、扩大网络覆盖、降低能量消耗成为异构蜂窝网络研究中所需要面对的新问题。考虑到蜂窝直通(Device-to-Device,D2D)通信和全双工通信技术在提升传输频谱效率和能量效率上的优势,将D2D通信和全双工通信技术引入异构蜂窝网络,构建高频谱效率、高能量效率的无线传输系统已成为当前的研究热点。然而D2D通信和全双工通信的引入也会给异构蜂窝网络的资源分配带来挑战。因此,本文致力于基于D2D和全双工通信的异构蜂窝网络资源分配研究,通过解决用户接入、发射功率控制、传输频段选择以及信令开销等问题,来提升系统的频谱效率和能量效率。主要研究内容有下面四个部分:(1)基于单D2D中继的异构蜂窝用户接入;(2)基于多D2D中继的异构蜂窝用户接入;(3)正交频谱共享下全双工通信的异构蜂窝网络资源分配;(4)非正交频谱共享下全双工通信的异构蜂窝网络资源分配。第一部分针对单D2D中继的场景,研究了异构蜂窝用户联合接入控制与资源分配问题,提出了一种基于跨层设计的用户接入算法来优化系统上行传输频谱效率和能量效率。该算法分为接入点选择、发射功率控制和传输模式切换三个步骤。每一步都简单易行,并且能够得到相关优化问题最优解的闭合表达式。仿真结果表明所提出的算法大大能提升小区边缘用户上行传输的性能,同时还显示在面向频谱效率和能量效率的传输中,基于D2D中继的传输模式比直传模式能给用户带来更多的性能增益。此外,仿真结果还展示了所提出算法在频谱效率和能量效率上的折中关系。第二部分研究了多D2D中继场景下的异构蜂窝用户接入问题。由于D2D中继和小型基站的分布具有随机性,系统中信道状态的测量会引起大量的信令开销。当D2D中继数目较多时,这种信令开销变得更加可观。因此,在多D2D中继场景下,如何设计高效用户接入算法来降低信令开销值得进一步研究。为了解决这个问题,本文提出了基于位置信息的用户接入算法来平衡信令开销与用户传输性能之间的关系。该算法首先从理论上分析最优中继节点的位置,然后根据D2D中继与最优中继位置之间的相对关系来进行中继节点的选择。最后根据选定的中继节点来确定最优的发射功率与传输模式。仿真结果证明所提出的算法在提升异构蜂窝用户上行传输能量效率的同时,还能有效降低系统的计算开销与信令开销。第三部分研究了正交频谱共享场景下全双工通信的异构蜂窝网络资源分配问题。综合考虑基站和用户的发射功率限制,以最大化小小区容量为目标,构建了联合上下行用户子载波分配和发射功率控制的优化问题,并采用拉格朗日对偶的理论将该问题分解为一个原始优化问题和一个对偶优化问题。由于原始优化问题具有非凸结构,因而可以采用凸凹过程(Concave-Convex Procedure,CCCP)把该问题转化为一系列凸问题进行求解。通过共轭次梯度法,对偶优化问题可以得到有效解决。通过理论分析和仿真验证验证,基于拉格朗日对偶分解的资源分配算法能以较低的运算代价提升的系统容量。第四部分研究了非正交频谱共享场景下全双工通信的异构蜂窝网络资源分配问题。与正交频谱共享场景不同,在非正交频谱共享场景下,小小区和宏小区之间存在跨层干扰,因此在优化小小区容量的同时还需要限制其对宏小区的跨层干扰。此外,由于小型基站的位置具有随机性,宏基站可能无法准确获得跨层干扰的准确信息。因此,本文考虑了信道测量误差的影响,并根据鲁棒优化理论构建了联合上下行用户子载波分配和发射功率控制的优化问题。与正交频谱共享的场景类似,利用拉格朗日对偶分解,该优化问题被等效化简为一个原始优化问题和一个对偶优化问题。对于非凸原始优化问题,采用CCCP顺序求解。而对于具有凸结构的对偶问题,则采用共轭次梯度法进行求解。仿真结果证明了所提出算法的有效性,同时还分析了不同误差模型对算法性能的影响。