随着智能终端、移动互联网以及各种无线业务的普及,无线数据流量和设备连接数目呈爆炸式增长。尽管以LTE为代表的第四代(4G)移动通信系统已投入商用,但其传输速率、频谱效率、时延、接入密度等指标仍无法满足未来不断增长的无线业务需求,因此下一代5G移动通信系统的研发已进入议事日程。在传统蜂窝系统中部署Small Cell或D2D (Device-to-Device,端到端)设备形成分层异构网络可以提高系统容量、增强信号覆盖范围、提高传输速率并提升频谱利用率,因而成为5G移动通信系统的核心技术。Small Cell或D2D的部署带来了新的挑战。一方面,为了提升频谱效率,通常各层网络之间共享频谱资源,因此不仅存在同层网络间干扰还存在不同层网络间干扰,严重限制了系统性能；另一方面,由于Small Cell和D2D的部署密度远远高于传统蜂窝基站的部署密度,传统的中心控制方式将造成巨大的回传损耗和时延,因此难以适用于分层异构网。为了有效应对分层异构网的复杂干扰与高密度部署带来的巨大挑战,本文主要针对Small Cell/Macro Cell与D2D/Macro Cell两类主要的分层异构网络,研究分布式资源分配和干扰管理优化算法。首先,本文针对Small Cell/Macro Cell分层异构网,提出了一种基于广义纳什均衡(GNEP)的分布式算法,联合优化宏基站(MBS)和小基站(SBS)的发射功率,确保在满足宏蜂窝用户(MUEs)的服务质量要求(QoS)的前提下,各个基站能够自治地最大化其传输速率。本文首先将Small Cell/Macro Cell分层异构网建模为GNEP问题,然后通过价格机制将GNEP问题分解为传统纳什均衡问题(NEP)与变分不等式(Ⅵ)问题,接着设计了两种分布式功率优化与价格更新算法,并给出算法收敛性条件和均衡解存在及唯一性条件。仿真结果表明本文提出的算法仅需宏基站广播少量的价格信息,就能分布式地实现保护Macro Cell通信和优化Small Cell通信的双重目标,并且较基于传统NEP模型的分布式算法有较大的性能提升。然后,本文进一步研究了Small Cell/Macro Cell分层异构网的整体效用优化。由于Macro Cell和Small Cell之间以及各个Small Cell之间的干扰,异构网整体效用优化问题为一高度非凸问题,为分布式优化带来了极大挑战。本文创新地建立了整体效用优化和GNEP之间的联系,通过引入适量的信令交互,提出了基于GNEP的整体效用优化算法,并证明了其收敛性。仿真结果表明在保障Macro Cell通信的QoS的情况下,本文提出的分布式算法可以获得媲美于集中式算法的性能,能够通过适量的信令交互实现分层异构网的整体和速率最大化。最后,本文研究了D2D/Macro Cell分层异构网中的资源共享问题。本文考虑了两个代表性问题：一,MUEs具有QoS要求时D2D网络效用最大化问题；二,MUEs和部分D2D均具有QoS要求时D2D网络效用最大化问题。针对问题一,本文提出了一种部分逼近方法,设计相应的分布式算法,并证明了算法的收敛性;针对问题二,由于存在非凸非线性的约束条件,本文提出了一种对数逼近方法,并给出了分布式算法和其收敛性。仿真结果表明两个分布式算法充分利用了各个通信设备的本地信息,均达到集中优化算法的性能,有效地提升了系统频谱效率。