随着无线通信技术在研究领域的不断发展和深入,移动通信已经逐步渗透到了人们日常生活的各行各业,并且在很大程度上改变了人们的生活方式。当前人们对于无线通信系统的数据传输速率、系统容量、数据吞吐量等的需求仍在不断增长,高出当前网速数十倍、网络承载力数百倍的第五代移动通信理所当然的引起了研究者们的极大兴趣。Massive MIMO技术作为5G的关键技术之一,近年来成为了专家学者们的重点研究对象。由于低频段的频谱资源己经十分拥挤,毫米波丰富的可利用频谱资源也使得人们对其越发关注。毫米波与Massive MIMO技术的完美结合因其充裕的带宽资源,更高的数据传输速率和能量效率成为了当前通信领域的又一研究热点,本文主要针对毫米波Massive MIMO系统的波束选择和信道估计方案展开研究。首先介绍了Massive MIMO系统几种经典的基本模型,同时也给出了不同模型下相关特性的分析。对处理发送信号时采用的几种常见的线性预编码方案给出确切的描述。通过介绍毫米波通信的一般场景,给出了其信道稀疏特性的简单说明。由于系统信道状态信息是对信号进行预处理的关键,因此需要寻求精确度更高复杂度更低的信道估计算法。本章首先描述了插入固定导频的LS和MMSE信道估计算法。然后又针对稀疏信号的恢复问题,引入了以压缩感知技术为理论基础的OMP和CoSaMP信道估计算法,由于在大规模天线系统中MMSE算法过于繁琐,故只仿真分析本章所述的其余三种算法,以便更好的理解不同算法性能的高低。在采用全数字预编码方案对毫米波的Massive MIMO系统信号进行预处理时,射频链路数过多增加了系统的硬件成本,也造成了巨大的能量消耗。为此,提出了一种基于透镜的波束选择方案,以便有效降低系统所需射频链路数及设计难度。仿真结果表明,所提方案的系统和速率性能能够近似逼近全数字预编码方案,但却能够在很大程度上提升系统的能量效率。最后,针对毫米波Massive MIMO系统中理想信道状态信息难以获取的问题,将块稀疏信号的特性融合到传统的CoSaMP算法中,提出一种块稀疏的正则化CoSaMP算法进行信道估计。仿真结果表明相比于传统的CoSaMP算法,所提结合块稀疏的CoSaMP算法的信道均方误差更低,系统的能量效率也更高。