3D MIMO(Three Dimension Multiple Input Multiple Output)通信技术能同时利用天线阵列水平维与垂直维的角度信息,极大地提高了系统容量,是5G的关键技术之一。当今用于通信的频谱资源受限,毫米波(Millimeter Wave)是频率30GHz到300GHz之间的电磁波,利用毫米波通信技术可以解决当今通信频谱稀缺的问题。毫米波通信技术与3D MIMO通信技术的结合是未来移动通信技术发展的大趋之势,透镜作为一个物理结构,是近几年学者发现能应用在基站端的天线阵列技术,它能解决天线端结构复杂,成本高的难题,并且能将空间信道转换到波束空间中。波束空间信道是稀疏的,因此如何利用波束空间信道的稀疏性进行信道估计是本文研究的重点。本文主要进行了如下的工作:第一,研究了无线通信信道的特性以及2D MIMO通信系统和3D MIMO通信系统的区别。分析了无线通信信道的损耗与衰落类型以及毫米波信道的特点,3D MIMO技术在5G通信中的优势并给出其适用的场景。第二,研究了基于透镜的毫米波大规模3D MIMO通信系统中的信道估计方法。详细分析了透镜天线技术的作用以及波束空间信道的稀疏特性,然后利用其稀疏特性进行信道估计方法的研究,提出了一种低复杂度的十字形信道估计方案。仿真结果表明,所提算法的计算复杂度是十字形信道估计方法的一半并且不损失估计精度。第三,研究了具有空间宽带效应的毫米波大规模3D MIMO通信系统的信道估计方法。详细分析了在大规模MIMO中存在的空间宽带效应以及具有空间宽带效应的大规模MIMO的信道模型,然后将其扩展到了毫米波大规模3D MIMO通信系统中,分析了信道在角度延迟域的稀疏特性,提出了一种基于角度延迟域稀疏特性的信道估计方法。仿真结果表明,所提算法具有良好的信道估计性能。