提高无线通信系统的频谱效率和能量效率是5G无线通信技术的重要目标。由于无线系统有限的频谱资源以及用户日益增长的速率需求,频谱效率作为一种传统性能指标早已得到广泛研究。另一方面,无线通信系统日益增加的能耗使得绿色通信技术成为未来移动通信的发展趋势。在绿色通信的研究中,比特每焦耳能量效率作为一种性能指标能够较好地体现吞吐量和功率之间的折中。然而,能量效率和频谱效率这两种重要性能指标的趋势并不总能保持一致,两者之间往往存在折中关系。为了在无线系统设计中更好地平衡能效效率和频谱效率这两种性能指标,需要对两者的折中关系进行研究。本论文将聚焦下行多用户多天线(Multi-user Multiple Input Multiple Output, MU-MIMO)系统中的能量效率-频谱效率折中关系研究。MU-MIMO技术不仅能够获得MIMO技术的分集和复用增益从而改善传统无线通信系统的能量效率-频谱效率折中关系,还能够利用空间自由度消除用户间干扰,并获得多用户分集增益。一方面,通过推导MU-MIMO系统的能量效率和频谱效率近似关系闭式,可以揭示MU-MIMO系统中提高无线通信系统的频谱效率和能量效率的理论限制,为系统能量效率和频谱效率的联合设计带来启示意义；另一方面,通过优化MU-MIMO系统中的预编码矩阵设计、基站发射功率和基站激活发射天集合,可以改善MU-MIMO系统中的能量效率-频谱效率折中关系。本论文的主要贡献包括：1)基于随机波束成型的单小区MU-MIMO系统中能量效率-频谱效率近似关系闭式推导在随机波束成型系统中根据次序统计量的渐进理论的知识可以得到容易求反的近似容量闭式表达式,据此推导能量效率与频谱效率的近似关系闭式。在得到能量效率-频谱效率关系近似闭式的基础上,利用lambert函数的性质对随机波束成型系统能量效率进行了优化,进而得到了优化的能量效率-频谱效率折中曲线。由于随机波束成型的系统容量表达式十分复杂,直接对能量效率函数进行优化十分困难。利用本文推导得到的能量效率-频谱效率关系近似闭式能够有效地得到能效优化问题的闭式解。本文还进一步在异质用户场景下推导了系统能量效率和单个用户频谱效率之间的近似关系闭式。通过仿真结果可以发现,本文提出的能量效率-频谱效率近似闭式与蒙特卡洛仿真结果非常吻合,验证了本文推导的近似闭式的准确性。2)基于块对角化(block diagonalization, BD)的单小区MU-MIMO系统中的能量效率优化以及能量效率-频谱效率折中关系研究在非理想功放效率模型和每天线功率限制下对基于BD预编码的多用户MIMO系统中的能量效率优化问题进行了研究,本文将问题建模为基站预编码矩阵、发射功率以及激活发射天线集合的联合优化问题,并将能量效率优化问题转化为稀疏波束成型问题从而简化了求解,然后利用顺序凸近似方法提出了一种迭代解法。进一步地,通过求解不同频谱效率限制下的能量效率优化问题,对非理想功放效率模型下基于BD预编码的MU-MIMO系统的能量效率-频谱效率折中关系进行了研究。通过仿真发现,非理想功放效率模型下能量效率最优点对应的频谱效率值比理想场景下能量效率最优点对应的频谱效率值更高,这说明如果按照理想功放效率模型下的能量效率最优点来配置系统参数,将会带来系统性能的下降。此外,选择合适的激活发射天线集合能够改善能量效率-频谱效率的折中关系。3)基于协作波束成型的多小区MISO系统中的能量效率-频谱效率联合Pareto边界研究本文以多小区MISO系统为例,对多小区MU-MIMO系统中能量效率-频谱效率折中关系进行了研究。能量效率-频谱效率联合帕累托边界能够较为全面地反映多小区MU-MIMO系统的极限链路性能,并能较好地刻画能量效率和频谱效率的折中关系。首先由干扰链路的能量效率帕累托边界的角度出发,推导了能够达到能量效率帕累托边界的最优协作波束成型矢量结构,并且提出了一种能够达到能量效率帕累托边界的分布式协作波束成型算法。进一步地,本文将研究能量效率-频谱效率联合帕累托边界可达点的问题,转化为求解多个频谱效率限制下的能量效率帕累托边界问题,推导了能够达到能量效率-频谱效率联合帕累托边界的最优协作波束成型矢量。