由宏小区网络、不同类型的法定小小区网络、认知无线网络、协作中继网络以及终端直通(Device to Device,D2D)网络等组成的多层异构网络构架被认为是未来5G (5th Generation Mobile Systems)移动通信系统的核心构架方式之一。该构架方式可以有效地提高无线网络的频谱效率、数据传输速率、扩大热点区域的覆盖范围、降低通信延迟并保证良好的端对端性能。但是,这种网络构架方式同时也面临着复杂的资源分配以及干扰管理挑战。此外,随着无线通信产业的飞速发展,无线网络的巨大能耗制约着环境的可持续发展。近年来,致力于提高无线网络能量效率的绿色通信技术研究受到了业界人员的广泛关注。在此基础上,本文从绿色通信的角度出发,借助优化和博弈论工具深入研究了异构网络的资源分配及干扰管理方法。论文的主要贡献如下:对于部署飞蜂窝(Femtocell)网络的两层异构网络下行链路通信系统,由于频率复用的影响,飞蜂窝网络会对下行链路的宏小区用户造成通信“盲区”(DeadZone)。为了避免使其通信服务质量(Quality of Service, QoS)严重恶化,本文提出了一种基于宏小区(Macrocell)基站端跨层干扰定价的功率控制方案并将宏小区用户所受到的跨层干扰限制在预定的干扰门限范围内。本文采用斯坦科尔伯格博弈(StackelbergGame, SG)模型来设计该功率控制方案,将宏小区基站(Macrocell Base station, MBS)视作该博弈模型的领导者(Leader),各飞蜂窝基站(Femtocell Base Station,FBS)视作跟随者(Follower)。即MBS通过对各子信道上宏用户所收到的干扰功率进行定价,将该干扰功率视作某种商品出售给飞蜂窝网络来赚取一定的收益并保证宏用户的QoS;随后各FBS基于此定价调整各自的发射功率策略。对于该博弈模型,本文分析了纳什均衡(Nash Equilibrium,NE)策略的存在性和唯一性并提出了一种通信开销较低的分布式干扰定价和功率更新算法。仿真结果表明该算法具有较快的收敛速率,并且该方案在飞蜂窝的吞吐量上可以有效地逼近一种协作方案。基于以上系统模型,本文进一步从绿色通信的角度出发,分别研究了系统能效公平、系统能效最优的资源分配和功率控制方案。对于系统能效公平方案,本文将该方案归结为求解一个最大化最小能效的分式规划问题,采用广义丁克尔巴赫算法(GeneralizedDinkelbach’sAlgorithm, GDA)进行求解。对于该算法中的子优化问题,本文设计了一种结合公平性原则的分布式算法,分析表明该算法可以有效地降低系统的协作通信开销;对于系统能效最优方案,由于同层干扰的存在,原问题难以直接求解,借助对数函数下界理论工具,本文先将原问题的目标函数转化为其下界函数并将转化后的子问题通过丁克尔巴赫算法迭代求解,然后设计启发式迭代算法去逼近原问题的解。仿真结果验证了所提两种方案的可行性和优越性。此外,考虑到异构网络中不同小小区(Small cell)的能效可能会有不同的优先性级别,本文研究了小小区网络中基于加权和能效优化的资源分配和功率控制方案。其中,加权系数表示各小小区的能效优先性级别。该优化问题是一个混合了整形变量的非凸的分式规划问题,属于NP-hard问题。因此,本文提出将该优化问题分解成资源块分配和功率控制两个子问题分别优化求解。即,在先给定一个可行的功率分配策略的情况下来优化各小小区的资源块分配策略;然后依据所得的资源块分配策略再来优化功率分配策略。特别的,对于功率分配子优化问题,本文提出了一种基于定价的分布式算法将该问题进一步分解到各小小区基站分别求解,并且证明了在给定资源块分配的条件下,该分布式算法将最终收敛到原问题的一个Karush-Kuhn-Tucker (KKT)点。仿真结果表明,所提算法在系统的加权和能效上要优于传统的非协作和凸定价函数算法且具有较快的收敛速度。D2D通信可以绕过基站实现信息的传输、降低网络延迟并提高系统的频谱效率,但是D2D的存在同样会对传统小区网络造成干扰。因此,本文研究了在当前宏小区网络中部署D2D通信的功率控制及干扰管理问题。为了提高频谱利用率,D2D通信复用传统小区网络上行链路的频率资源。本文将该问题以SG模型建模,其中博弈的领导者为MBS,其通过对D2D复用频率通信造成的跨层干扰进行定价来控制干扰级别;各D2D发射机(D2D Transmitter, D2DT)视作跟随者,其依据MBS的定价自适应地调整发射功率。基于此博弈模型,本文考虑所有D2D对完全协作和部分协作两种情形,分别研究了在跨层干扰约束条件下最大化D2D网络和速率以及各自和速率的功率控制问题。针对这两种情形,本文分别设计了相应的价格更新和功率更新算法。仿真结果验证了所提方案的可行性,并且所提算法在D2D网络和速率上均优于非协作功率更新算法。认知无线电技术可以让具有认知能力的用户终端接入传统小区网络的频谱空洞实现频谱的共享,从而有效地提高系统的频谱效率。本文针对部署认知无线小区的异构网络设计了一种分两步进行的多服务提供商、多认知用户的频谱交易方案,分别采用非协作模式和协作模式来模型化该频谱交易过程。特别的,对于非协作模式,本文分别分析了多服务提供商纳什均衡的频谱定价策略以及多认知用户纳什均衡的频谱竞标策略的存在性和唯一性。提出了分布式的博弈策略更新算法并分析了算法的稳定性条件。通过仿真评估了两种模式下的多服务提供商的定价策略以及多认知用户的竞标策略,比较了两种模式下系统频谱交易的整体收益性能。