当前移动通信业务量飞速增长并且接入终端的种类和数量也达到了前所未有的规模。为应对这样的局面,学术界和产业界开始谋划面向未来的新一代移动通信系统,即第五代移动通信系统(5G)。在5G移动通信的标准制定中,对传输速率、移动性、传输时延、连接数密度、频谱效率和能量效率等性能指标都做了较高的要求。在当前的无线资源下,为了实现5G标准中的传输要求,一批能够进一步挖掘时频资源潜力的高效无线通信技术应运而生。在这些技术中,大规模多输入多输出(Massive MIMO,或称为Large-scale MIMO)技术被寄予厚望。大规模MIMO技术通过在基站配置大量天线,能够在不增加额外时频资源的情况下使无线通信系统的能量效率、频谱效率和传输速率性能得到大幅度提升。然而,大规模MIMO技术在应用过程中仍存在许多有待解决的问题,因此本论文开展了“大规模天线系统中的性能分析与传输设计”这一课题,具体研究内容和主要贡献如下:首先,研究了大规模MIMO系统中的信道容量的非渐进性能。现有文献中的大规模MIMO系统的容量分析是假设天线数目趋于无穷,并采用渐进的分析方法来处理系统容量。然而这样的假设在现实系统中并不能实现。因此,在本章我们采用非渐进的分析方法,即假设天线数目较大但有限。为此,我们利用非渐进分析中的集中不等式对大规模天线系统的容量进行分析。我们首先得到大规模MIMO系统的遍历容量的确定界。根据此确定界,我们进一步得到瞬时容量的统计界。该统计界能准确描述瞬时容量落入某一具体容量区间的最小概率。仿真结果表明,相比现有的渐进结果,遍历容量的确定界能够更为准确地衡量遍历容量。另一方面,仿真结果还验证了,统计界描述瞬时容量非渐进性能的准确性。然后,研究了大规模MIMO系统中满足一定中断概率需求的最小天线数目。我们利用渐进分析的工具得到了瞬时容量的渐进的概率分布。再根据该渐进的概率分布得到了满足一定中断概率需求的最小天线数目的闭合表达式。但由于其结果是基于渐进分析的结论,在天线数目有限的实际系统中,其准确性难以达到最优。为此,我们对中断概率模型进行变换后,利用第二章中的瞬时容量的统计界,找到了满足一定中断概率需求的最小天线数目问题的等价形式。通过对该问题的等价形式的数值求解,我们得到了满足一定中断概率需求的最小天线数目。最后,我们通过仿真结果验证了非渐进方法得到的结果会比渐进方法得到的结果更准确。接着,研究了分离式天线的全双工大规模天线系统中的基站最优天线比例。在当前的全双工大规模多天线系统中的最优比例研究中都只是考虑在基站知道完美的信道状态下的情况,且没有考虑大尺度衰落。在本文中,我们将考虑在迫零预编码下在存在信道估计误差的情况下的最优的天线比例。并且我们利用随机矩阵理论得到了紧致的和速率下界,我们从理论上证明了该下界比传统界更紧致。利用得到的和速率下界,我们得到了天线收发比例的优化模型。由于其优化模型是一个凹(concave)函数,则最优的天线比例可以直接得到。然后,研究了动态TDD环境下的大规模天线系统的和速率性能。动态TDD传输中的最大挑战即为上述的跨链路干扰。又因为基站信号功率大和视距传输的原因,下行基站对上行基站的干扰尤为严重。然而为了抑制和消除跨链路干扰,我们在动态TDD系统中引入大规模天线系统。针对动态TDD模式下的大规模天线系统,我们将给出了基于随机矩阵的上下行信干噪比的等价近似。通过渐进分析,我们得到了跨链路干扰的渐进特性,并揭示了跨链路干扰会以O(1/M)的速度随着天线数目的增加而消失,从而达到上下行链路解耦的目的。最后根据分析结果,并利用几何规划的结论,我们给出了一种接近最优的高效功率分配方案。最后,研究了混合大规模天线系统中的低复杂度的模拟波束选择方法。我们根据机器学习算法提出了一种基于数据驱动思想的模拟波束选择的方法。具体地,我们把模拟波束选择问题当作是一个多分类问题,其中大量的毫米波信道样本被当作训练数据。然后,根据根据这些训练数据,我们通过支持向量机来得到一个以和速率最大化为目标的统计分类模型。在实时传输过程中,通过训练得到的统计分类模型,能够以较低的复杂度为各用户选择最优的模拟波束。仿真结果表明,当训练样本足够多时,系统的和速率性能将接近穷举算法的最优性能,且所提算法的复杂度将比穷举算法的复杂度低若干个数量级。