在移动互联网和万物互联等概念的驱动下,5G系统相关的技术研究与标准化工作已经展开。面对移动用户对数据速率的极致需求,提升系统容量仍是5G系统最为核心的设计目标。5G系统吞吐量相对于当前蜂窝网络应提升超过千倍,而超密集网络与多天线技术被视为应对极高数据流量密度挑战的基本使能技术。其中,超密集网络技术通过以极高密度部署微站提升频谱复用增益;多天线技术则通过分集与复用提升网络吞吐量。为深入理解两项技术结合后的网络基本特性,本文从统计性能角度出发,深入地研究了多天线超密集网络的区域频谱效率分析、网络部署参数与干扰协调策略优化的相关问题,旨在为5G系统的部署与优化提供启示性指导。本文主要的工作与贡献如下:1)针对未来多天线超密集网络基站密度大、天线数多的特征,研究了单层多天线超密集网络区域频谱效率与基站密度、天线数等参数间的理论关系,并以网络平均功耗最低为目标,给出了最优的基站密度、天线数等参数的组合。本文通过泊松点过程(PPP)建立单层网络模型,推导了系统区域频谱效率及其下界,证明了区域频谱效率随基站密度线性增长,并发现区域频谱效率为基站天线数和服务用户数的联合凹函数。以最大化区域频谱效率为目标,本文证明了基站最优的空分复用服务用户数与天线数的比值为定值。并且当服务用户数设为最优时,区域频谱效率随天线数线性增长。此外,本文发现单层网络的平均功耗最小化问题等价于网络能效最大化问题,并给出了求解网络能效最大化问题的最优与低复杂度的次优算法,仿真结果显示次优算法可逼近最优算法性能。本文发现最优的网络平均功耗随着区域频谱效率设计目标线性增长,并观察到宏站相比于微站倾向于配备更多的天线。2)针对未来多天线超密集网络宏微共存的多层结构以及新型网络架构两个特征,研究了双层多天线超密集网络的区域频谱效率与各层基站参数间的理论关系,并在控制/数据分离架构下研究了平均功耗最低的网络部署参数。本文利用两个独立的PPP为双层网络建立拓扑模型,推导了区域频谱效率及其近似表达式,从理论上证明了部署更多微站总能提升区域频谱效率。当采用小区拓展技术时,本文发现微站发射功率越高,区域频谱效率则越高。以最大化区域频谱效率为目标,各层基站的最优服务用户数与该层天线数呈线性关系,数值结果显示最优服务用户数的取值随双层网络间参数差异变化并不敏感。当各层服务用户数设为最优时,系统区域频谱效率随着各层基站天线数均为线性增长。与单天线网络不同,本文观察到当宏站天线数相对于微站足够大时,小区拓展可提升系统区域频谱效率。此外,本文在控制/数据分离架构下,研究了双层多天线超密集网络的最优部署参数,旨在以最低的网络平均功耗保证系统覆盖率与吞吐量性能。为此,本文形成网络平均功耗最小化问题,以联合优化双层网络的基站密度、天线数以及带宽分配比例。为求解该问题,本文分别提出了最优与低复杂度的次优求解算法。仿真结果显示所提次优算法可逼近最优算法性能,并发现最优的网络平均功耗随带宽分配比例变化不敏感。3)由于小区间干扰仍是限制多天线超密集网络性能的主要瓶颈,本文进一步考虑了双层多天线超密集网络引入干扰协调策略,刻画了各层用户平均可达速率与干扰协调参数间的理论关系,并且给出了统计性能最优的干扰协调策略。本文针对封闭式微站密集部署的强干扰场景,考虑微站利用功率控制、接入控制以及协作波束成型抑制其对宏用户干扰。基于两步近似,本文推导了用户平均可达速率的表达式,刻画了用户性能与干扰协调参数间的理论关系,仿真结果验证了理论分析的准确性。基于理论分析结果,本文进一步讨论了最优的干扰协调策略,以在保证宏用户性能的前提下最大化微站用户性能。在不考虑协作波束成型的特殊场景下,从理论上证明最优的干扰协调策略仅采用功率控制;而在一般场景下,发现最优干扰协调策略为功率控制与协作波束成型的组合。当宏用户平均可达数据速率门限较低时,本文发现微站仅使用协作波束成型即可逼近最优策略性能。若单独使用各干扰协调策略,仿真结果显示系统性能的排序为:协作波束成型、功率控制、接入控制。