在移动互联网飞速发展的驱动下,移动终端上网、机器连接等产生的移动数据业务量快速增长,多样化的移动通信场景不断涌现。为应对数据的快速增长以及对多样化业务场景的支持,第五代(The Fifth-Generation,5G)无线通信系统相关研究工作已经全面展开,IMT-2020针对5G也提出系统容量超千倍增长的技术目标。多天线密集网络是5G提升系统容量的关键技术之一。其中,热点部署是多天线密集网络的典型部署场景之一,其基本思想是在人流密集区域集中部署大量微站。相比于传统蜂窝网络,热点部署场景下的密集网络面临更多的挑战:首先,热点区域的基站呈现簇状分布,使得网络拓扑结构发生变化。此外,基站的高密度部署使得网络干扰分布更加复杂。因此,建立贴合实际的基站部署模型,分析热点部署场景下密集网络性能与系统参数之间的关系,并结合网络干扰分布特点研究有效的干扰消除策略来提升网络性能具有重要意义。本文围绕热点部署场景下多天线密集网络展开了相关研究。结合随机几何理论推导了网络性能指标的表达式,并分析网络成簇特性对系统性能的影响。在此基础上,结合网络干扰的成簇特性,进一步研究了基于簇内多点协作的干扰协调策略并对用户速率性能进行了分析与优化,旨在为5G密集网络部署与优化工作提供参考。首先,针对热点部署场景下的单层多天线小基站网络,本文采用高斯泊松点过程建模小基站的分布,利用随机几何工具推导了系统区域频谱效率的一般性表达式和逼近表达式,并分析了区域频谱效率与网络部署参数的关系,得出如下结论:区域频谱效率随着成簇概率的增大而增大,随着成簇半径的增大而减小,在基站端配置多根天线可以显著提升区域频谱效率。当基站端配置固定数目的天线时,基站端存在最优的调度用户数使得系统区域频谱效率达到最大。理论分析和仿真结果显示,相比于均匀部署,热点部署场景下网络干扰分布呈现成簇特性,且由于簇内基站间距离较近,严重的簇内干扰是阻碍热点部署场景下系统性能提升的主要因素。在多天线密集网络中,多点协作是对抗小小区间干扰的有效手段。考虑到簇内干扰是热点部署场景下限制系统性能的主要因素,可以通过在单个簇内形成较小规模的协作集群来消除簇内干扰,一方面可以有效提升系统性能,同时也可以避免整个网络的信令交互带来的巨大开销,实现复杂度较低。结合簇内干扰消除策略,本文进一步对热点部署场景下的用户速率性能进行分析与优化。首先推导了用户平均可达速率一般性表达式,并分析其与基站端用以消除簇内干扰自由度数目的关系。根据表达式,本文从理论上证明了基站端用以消除干扰的最优自由度的存在,该最优解可以通过一维数据搜索的方式快速得到。理论分析和仿真结果显示,在成簇半径较小的情况下,即簇内干扰较大时,利用尽可能多的自由度来消除簇内干扰可以有效提升用户速率性能。然而,随着成簇半径的增大,利用较多自由度来消除簇内干扰带来的性能增益逐渐降低。这说明,当基站端配置固定数目的天线时,利用空域自由度在干扰抑制和传输有用信号之间存在折中关系。通过设置最优自由度,可以实现发送有用信号与干扰抑制间的最佳折中,从而使得用户速率达到最大。