毫米波通信提供了30-300GHz的频带,可以提供千兆位的通信服务,是5G网络的一项有前景的技术。然而,由于极高的频率,毫米波信号会遭受严重的路径损耗和降雨衰减。因此,它通常与大规模天线阵列结合使用,以提供较大的波束赋形增益。要利用这一波束赋形增益,系统必须具有准确的信道状态信息。由于配置了大规模天线阵列,信道矩阵维度高,获得准确的信道状态信息面临着许多挑战,包括大量的训练开销、严重的导频污染和较高的计算复杂度等。与传统的多散射体信道不同,毫米波信道在散射环境中表现出稀疏性,尤其是非视距路径具有较大的衰减。因此,毫米波通信中主要传播路径的数量有限。利用这种稀疏性,本文研究了大规模天线阵列系统的毫米波信道估计问题,设计算法估计信道的路径数量、每条路径的波达方向和路径增益。研究工作主要包括两部分。第一部分研究了基于稀疏性的信道估计算法设计。考虑毫米波通信系统的上行链路传输,系统包括一个单天线用户和配置大规模均匀线性阵列的基站。通过使用离散傅里叶变换（Discrete Fourier Transform,DFT）,将物理空间信道转换为波束空间信道。基于波束空间信道的稀疏性,本文提出了两种信道估计算法。第一种是用于信道统计信息未知的SWISS（Spectrum Weighted Identification of Signal Sources）算法。该算法通过在波束空间引入权重向量,放大有效信道路径分量并抑制噪声分量的干扰,设计优化问题求解出最优的权重值,根据权重向量估计出信道参数。第二种是已知信道为莱斯分布的NPD（Neyman-Pearson criterion based-Detector）算法。该算法使用奈曼-皮尔逊准则设计来判断每个DFT点上是否存在信道路径,给定虚警概率下,通过最大化检测概率,求得判断阈值,估计出信道参数。基于NPD算法,本文分析了估计出所有路径的正确率和虚警概率的关系,并进一步提出了最大化估计正确率的迭代式NPD算法。仿真结果表明,相比传统的空间平滑算法,本文提出的基于波束空间稀疏性的算法在估计路径数量和位置的准确度以及信道的归一化均方误差（Normalized Mean Square Error,NMSE）上均具有更优的性能。第二部分研究了考虑功率泄露问题的信道估计算法设计。第一部分假设信道路径的波达方向与DFT点对应,然而在实际系统中,信道路径的波达方向通常是连续的,并不会完全落在离散点上,从而产生功率泄露问题。本文结合SWISS算法和NPD算法的主要思想,提出了CAL（Combined Algorithm with Leakage）算法。首先使用SWISS算法找出权重值最大的路径,再使用补零法和割线法更精确地估计出路径的波达方向。然后从接收信号中移除这条路径,并重复上述步骤,直到接收信号中只剩下噪声信号。迭代终止条件可以使用NPD算法中求得的判断阈值。仿真结果表明,CAL算法可以有效解决功率泄露问题,相比空间平滑算法和SWISS算法,在估计信道路径数量的准确度、波达方向的均方误差（Mean Square Error,MSE）和信道的NMSE上能够取得更优的性能。