大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术由于具有显著提高频谱效率和能量效率的潜力,被视为5G关键技术之一。为了获得大规模MIMO的全部增益,基站需要准确及时的信道状态信息(Channel State Information,CSI)。随着天线数大幅增加,CSI的获取成为制约大规模MIMO系统性能的核心问题。为了应对这一挑战,本文基于压缩感知(Compressed Sensing,CS)理论,提出了几种适用于实际大规模MIMO系统的稀疏信道估计和跟踪算法,并对算法性能和收敛性进行了理论分析和仿真验证。所提算法不仅提升了信道估计精度,还有效减轻了实际大规模MIMO系统由于成本和能耗受限带来的影响。论文主要内容如下:(1)针对具有同相/正交不平衡(In-phase/Quadrature imbalance,IQI)的大规模MIMO系统提出一种稀疏信道和IQI联合估计算法。首先基于最大后验概率估计将此联合估计问题建模为双时间尺度非凸优化问题,其中IQI参数为长期变量,稀疏信道为短期变量。然后分别提出了批量算法和TOJSE算法进行求解,相较于批量算法,TOJSE算法性能略有下降,但通过在每次迭代中构造递归凸近似更新长期变量有效降低了计算复杂度。最后针对低速移动的场景,利用信道的时间相关性对TOJSE算法进行改进进一步提升了估计性能。(2)针对采用混合波束成形(Beamforming,BF)结构的大规模MIMO系统,提出了一种混合导频BF和相应的信道跟踪算法的联合设计。本文利用马尔可夫先验对大规模MIMO稀疏信道的时间相关性进行建模,然后通过最大化信道测量值与相应的下行稀疏信道之间的互信息,对混合导频BF进行优化。在此基础上,提出了一种称为Turbo-BI的信道跟踪算法,以解决由此产生的CS问题,并生成下一时隙优化混合导频BF所需的信道先验信息。仿真表明,所提出的联合设计能够以更少的导频开销获得更高的BF增益和更好的估计性能。