大规模多输入多输出(MIMO, multiple-input-multiple-output)被认为是下一代移动通信系统的关键技术之,能支撑高速率的移动通信业务。利用基站端或者用户端配置的大规模天线阵列,可以大幅度提升系统吞吐量,并从统计信道状态信息(CSI, channel state information)中获益。此外,除了提升频谱效率,大规模MTMO配置同样能够提升系统的能量效率。然而,大规模MIMO系统的性能受到导频资源的严格限制。基于以上动机,本文研究了大规模MIMO系统相关的性能分析和系统设计问题。首先,考虑中继辅助的MIMO蜂窝系统的上行链路,其中,每个小区配置多个放大转发(AF,amplify-and-forward)中继站,目标是得到这类系统上行遍历和速率的确定性表达式。考虑大规模MIMO维度的场景,得到了两个渐进性的和速率表达式,分别对应于固定用户数和用户数较大的情况。同时考虑了任意MIMO维度而用户数较大的情况,利用非渐进性分析得到了和速率的上下界,和速率以较大概率落在该上下界内,且在用户数较大时上下界较紧。非渐进性分析分别考虑了单小区和多小区的场景,其中,后者假设完全基站协作策略。数值试验结果表明,这些确定性和速率表达式和蒙特卡罗仿真结果一致,因此,它们可以用作设计和分析中继辅助的大规模MIMO蜂窝系统的有效工具。其次,研究了多小区大规模MIMO系统上行链路中和速率最优的预编码。具体地,关注的是只基于统计CSI的传输预编码设计。考虑部分协作系统,即只有CSI在小区间共享,每个小区的基站解码其小区内用户的信号,并将小区外用户的信号视作有色高斯噪声。得到了遍历和速率及其在总的用户大线数和基站大线数较大时的确定性逼近,并在满足发射功率约束的条件下,通过最大化该确定性逼近,得到了必要最优条件,并据此提出了梯度搜索算法以计算局部最优的预编码。进而,考虑超级小区系统,即所有小区内的所有用户信号被联合解码的场景,得到了其和速率的确定性逼近并给出了最优预编码设计。数值试验的结果表明,相比无预编码系统,所提出的预编码能够达到较大的性能增益,而和现存的需要完美CSI的预编码方案相比,所提出预编码只需要统计CSI且能达到相似的和速率。接着,研究了在多小区导频复用的情况下,针对大规模MIMO系统上行链路的鲁棒均衡器,利用最差情况方法进行可以对抗导频污染的鲁棒性设计。在基站天线数较大且信道模型未知时,建立了一个新的模型,以表示即时信道矩阵和不完美的信道估计之间的关系。基于此模型,将鲁棒均衡器设计问题表述为一个最小最大化问题,并将该最小最大化问题转化为一个无约束问题,据此得到最优条件。利用得到的最优条件,提出了两个迭代算法和一个简化的逼近方法来计算最优的鲁棒均衡器。利用仿真试验来评估所提出算法的性能,和传统的均衡器相比,所提出的鲁棒均衡器可以达到更优的误比特率(BER, bit error rate)性能,尤其是在信噪比(SNR, signal-to-noise ratio) 较高,即导频污染较为严重时。最后,研究了采用大规模基站天线和软协作策略的异构网络(HetNet, heterogenous network)中,基于波束成形的能量有效传输方案。考虑传输功率互异的多个宏基站和微基站共存的异构网络,采用软协作策略,即只有CSI在宏基站和微基站之间共享。将能效问题表述为在满足每个用户信干噪比(SINR, signal-to-interference-noise ratio)的条件下,最小化总传输功率的问题。根据该问题的对偶问题,得到了能效波束成形向量的结构,并利用大规模MIMO分析方法,得到了渐进对偶问题,这样能效波束成形的内部参数和传输功率只取决于统计CSI,可以减小信号处理延时。由于渐进对偶问题非凸,通过将该非凸问题转化为多个凸子问题,提出了迭代算法以计算最优的波束成形参数和传输功率。仿真结果展示了所提出算法的收敛性以及所提出传输方案的能量效率。