由于智能终端的普及、宽带移动化的发展,人们对移动通信系统的有效性与可靠性提出了更高的要求。以MIMO为代表的多天线技术是目前公认的实现上述目标的最佳选择。但在实际系统中,由于严重的小区间干扰和更高的数据传输需求,人们研究的焦点开始转向大规模多天线(Massive MIMO)技术。与传统MIMO技术相比,该技术作为下一代移动通信的备选技术,不仅能够利用多天线阵列获得较大的分集增益,显著提高系统容量、能量效率,还可以有效降低干扰消除的复杂度,实现高速率、高稳定性的数据传输。因此,本文基于Massive MIMO系统重点研究以下创新内容:1.为解决频分复用系统有限反馈预编码中,因天线数增多导致系统信道反馈开销过大的问题,本文以多级码本的设计方法为基础,提出一种分块码本预编码方案。该方法借鉴叠加码本的构造思想,在接收端与发射端同时分配多个码本,打破单一码本限制,从理论上构建一种循环遍历的方法。接收端循环使用这些码本进行选码,其等效于全反馈码本中码字的总数,在相同反馈开销的情况下,系统性能得到提升。通过仿真实验进一步验证了本文所提的分块码本相较于单一码本有一定的性能增益,能有效降低系统的反馈开销。2.天线尺寸增大导致信道空间相关性增强、精确信道估计困难,并且现有的容量分析复杂度较高。本文重点分析了不同信道状态下的系统容量,并利用信道硬化特性、大规模随机矩阵理论对相关信道与非理想相关信道下系统容量的渐进性进行了研究。仿真结果表明渐进系统容量几乎与精确系统容量一致,同时降低了计算复杂度,为后续系统优化问题奠定了基础。3.在上述系统容量渐进性研究的基础上,进一步研究了非理想相关信道下能量效率优化问题,提出一种联合发射功率和导频功率的优化算法。该算法借助凸优化工具最大化能量效率,求解能量效率的最优解。并通过仿真实验将该算法与两种常见的能量效率优化算法进行对比,结果显示该方法下能量效率要优于另外两种算法。