毫米波通信是第五代移动通信系统(5G)中的一项极有潜力的关键技术,因为毫米波通信具有大带宽、高数据传输速率、强频谱扩展能力和干扰抵抗能力等优势,并且天线尺寸的减小也为降低大规模天线阵列的硬件尺寸带来优势。然而,毫米波频段具有散射率低、路损和雨衰严重等问题。硬件实现也受到高成本、高功耗、以及射频链路数量的制约。天线的小尺寸不允许每个天线携带一个射频链路,因此精确的数字信号处理受到限制,传统的系统架构和信道估计方法面临众多挑战。面对这些问题,本文采用混合预编码架构中的基于3D透镜天线阵列的毫米波通信系统架构,将大规模天线阵列与高度定向性的波束传输相结合,用高波束增益弥补高功率损耗。本文着重研究了3D透镜天线阵列的阵列响应、图像处理方法在稀疏波束空间信道估计中的应用和低功耗的减少移相器选择网络。基于3D透镜天线阵列的阵列响应,本文利用二维傅里叶变换方法,推导了3D透镜天线阵列的阵列响应为两个sinc函数之积,并结合了sinc函数最大值的唯一性的特性分析了透镜天线阵列的汇聚性和波束空间信道矩阵的稀疏性,透镜天线阵列的汇聚性有利于降低毫米波通信系统设计的复杂度。考虑波束空间信道矩阵的稀疏性,本文首次将图像恢复算法的思想改进并用于波束空间信道估计中,利用信道与图像的共同特性连续性,通过获取信道元素之间的差距来增加信道估计的准确性,并结合信道元素的先验分布信息,提出并推导了改进型AMP信道估计算法,改进型AMP信道估计算法大大提升了信道估计的精确度,降低了系统复杂度,具有明显的性能优势。此外本文还对信道元素的两种先验分布(均匀分布和稀疏高斯分布)对信道估计算法性能的影响加以比较,结果说明稀疏高斯分布比均匀分布更贴近实际、信道估计的效果更好。针对降低毫米波通信系统功耗的问题,本文创新性地提出了一种减少移相器的选择网络架构。减少移相器的选择网络架构是将传统的一比特移相器选择网络中部分移相器随机断开,这样的操作不会改变选择网络的随机性,因此以上提出的改进型AMP信道估计算法依然适用。相比于传统的选择网络架构,该架构明显降低了选择网络的整体功耗,并且信道估计的算法性能损失可以忽略不计。本文成功地实现了图像处理算法与无线通信问题的交叉融合,率先将图像恢复算法的思想改进并用于波束空间信道估计中,并考虑了提出的信道估计算法在降低系统功耗架构下的应用。数值仿真表明,本文所述基于透镜天线阵列的毫米波通信系统信道估计方法具有显著的性能优势,为毫米波通信系统的研究提供了新的思路和方向。