近年来,随着智能移动终端数量的快速增长和物联网等新兴技术的飞速发展,无线数据的传输需求持续指数增长,未来移动通信系统需要为用户提供高速率、高可靠性、低时延的服务。大规模多输入多输出(MIMO,Multi-Input-Multi-Output)技术可以提供更高的传输速率和频谱利用率,因此成为未来移动通信系统的关键技术之一。本论文将对大规模MIMO系统中的信道估计方法进行研究,进而研究非理想信道信息下的大规模MIMO鲁棒预编码方法。首先,本论文研究了常规的信道估计方法,包括最小二乘、最小均方误差和基于离散余弦变换(DCT,Discrete Cosine Transform)的信道估计方法,并分析了三种信道估计方法的均方误差性能,然后仿真比较了三种信道估计算法的性能。另一方面,研究了常规的预编码方法,包括匹配滤波、迫零和正则化迫零预编码方法,并分析了三种方法的信干噪比(SINR,Signal-to-Interferenceplus-Noise Ratio)性能,最后通过仿真比较了三种预编码算法的性能。仿真表明,三种常规预编码算法在非理想信道信息下均有性能损失。其次,针对大规模MIMO系统中常规信道估计方法导频开销过大的问题,提出了一种压缩感知(CS,Compressed Sensing)信道估计方法。从联合相关信道模型出发,分析了波束时延域信道矩阵的稀疏特性,采用过完备矩阵减轻时延域信道的能量泄露,并增加波束域信道的稀疏特性。基于改进的联合相关信道模型,充分利用波束时延域信道的稀疏特性,提出了一种改进的正交匹配追踪(MOMP,Modified Orthogonal Matching Pursuit)算法估计信道矢量的支撑集,并提出了基于能量集中特性的信道估计(ECCE,Energy-Concentration based Channel Estimation)算法。仿真结果表明,ECCE方法在性能上优于现有的信道估计方法,并减少了导频开销。然后,针对大规模MIMO系统中的非理想信道信息带来的常规预编码算法性能下降的问题,提出了遍历和速率最大化鲁棒预编码算法。在联合相关信道模型的基础上,分析了信道的先验模型和后验模型,并研究了获取信道统计信息的压缩感知方法。在此基础上,采用KKT条件(Karush-Kuhn-Tucker Conditions)求解预编码设计的遍历和速率最大化问题,得到迭代计算预编码矩阵的算法。针对该算法中矩阵求逆引入较高计算复杂度的问题,提出一种低复杂度鲁棒预编码算法,显著降低了计算复杂度。仿真结果表明,所提出的低复杂度鲁棒预编码的性能比最优鲁棒预编码的性能略差,但是相比于RZF预编码有明显提升。同时,非理想信道信息对鲁棒预编码的性能影响较小,显著优于RZF预编码。最后,针对鲁棒预编码方法的复杂性问题,提出了一种信漏噪比(SLNR,Signal-to-Leakageplus-Noise Ratio)最大化的鲁棒预编码方法。在改进联合相关信道模型的基础上,采用SLNR准则,在最大化各用户的有用信号的同时,最小化在其他用户处的功率泄露。利用瑞利熵和广义特征值理论,研究了两种不同的SLNR最大化鲁棒预编码方法。数值仿真表明,采用多流传输的鲁棒预编码的遍历和速率性能更优。SLNR最大化鲁棒预编码的遍历和速率性能与RZF预编码相比存在显著优势,而且非理想信道信息对鲁棒预编码性能的影响更小。