大规模MIMO系统可以为第五代(5G)蜂窝网络提供高频谱效率、能源效率及高可靠性的性能需求,是第五代(5G)蜂窝网络关键技术。大规模MIMO系统基于空分复用技术,在基站处配备成百上千的天线来增加信道增益。由于不同天线间存在互相干扰,这使得信息处理变得更加复杂,传统的预编码技术、信道估计算法变得不再适用于大规模MIMO系统,亟待创新设计性能更好、复杂度更低的预编码方案和信道估计技术。针对以上提到的两个问题,本文进行了如下的研究:(1)在大规模多用户多输入多输出(MU-MIMO)基站(BS)中,数模转换器(DAC)的功耗占总功耗的很大一部分,使用1位DAC可以大大降低功耗。然而在大规模MUMIMO系统中使用具有1位DAC进行预编码,将会造成额外的失真,降低系统性能。因此提出基于交替方向乘子(Alternating Direction Method of Multipliers,ADMM)的非线性预编码算法。该算法将有约束量化预编码问题转化为无约束形式进行求解,并简化算法循环结构。仿真实验结果表明,ADMM量化预编码算法具有系统性能好,计算复杂度低等优点。(2)针对目前毫米波MIMO系统采用的模拟/数字混合预编码器会导致频谱效率损失的增大,以及算法计算复杂度高等问题。提出了基于黎曼最陡下降法(RSD)的交替最小化混合预编码算法。通过采用交替优化数字预编码器与模拟预编码器的单回路结构,简化传统算法中复杂的嵌套循环结构,并改进了梯度的计算方法,降低了由大矩阵kronecker乘积引起的计算复杂度;为了进一步验证算法性能,文中将所提出算法扩展到宽带毫米波MIMO系统中。仿真结果表明,本文提出的RSD-Altmin方法可以降低混合预编码算法计算复杂度从而具有更快的处理速度,同时更逼近最优数字预编码频谱效率。(3)在毫米波(mmWave)大规模多输入多输出(MIMO)系统中,可靠的估计无线传播信道是实现系统性能的关键技术。但是由于毫米波信道具有高可变性的特点,导致在较短的导频训练时间内系统无法获得可靠的信道状态信息。因此提出了一种基于交替方向乘子(Alternating Direction Method of Multipliers,ADMM)毫米波大规模MIMO信道估计算法,该算法利用毫米波信道的稀疏特性以及毫米波信道矩阵低秩特性,实现在较短的导频训练长度下,获得可靠的信道状态信息。仿真结果表明,该算法较传统信道估计算法,具有更低的信道估计误差、更高的鲁棒性。