毫米波通信系统在未来5G(5G,5th Generation)移动通信中起着至关重要的作用。毫米波为移动通信提供更大的带宽和更高的数据速率,但是由于毫米波具有强路径损耗、大气和雨水吸收等特点,并且其绕过障碍物能力和穿透能力比常用低频段波差。因此,需要在毫米波通信中使用高定向性的大规模天线阵列,以弥补高路径损耗。但是在毫米波中采用大规模天线阵列导致了高硬件复杂度和高能量消耗等问题,为毫米波通信增加了挑战。为了解决以上问题,本文需要对毫米波通信系统架构和无线传输关键技术展开研究,其中毫米波通信系统架构包括基于移相器网络或透镜天线的混合预编码架构和低精度模数转换架构等,此外,本文研究的无线传输关键技术主要包括波束训练、信道估计等。首先,本文研究基于混合预编码架构的毫米波技术。分析了毫米波传输特性,以及毫米波常用的信道模型。探究了毫米波MIMO(MIMO,Multiple Input Multiple Output)的系统架构,调研了模拟波束成型架构、模数混合预编码架构、低精度模数转换器架构的优缺点。进一步探索了毫米波波束训练的经典方法,包括毫米波多级码书设计、毫米波包内波束训练方法及波束编码训练方法。研究了基于压缩感知的毫米波信道估计算法,理解了OMP(OMP,Orthogonal Matching Pursuit)算法、SD(SD,Support Detection)算法、AMP(AMP,Approximate Message Passing)算法的基本原理和算法步骤,并比较了不同算法的NMSE(NMSE,Normalized Mean-squared Error)性能曲线,分析了各算法的优缺点,实现了各算法的相关技术指标。接着,本文提出了低精度模数转换器辅助的模数混合预编码毫米波新架构。描述了该新架构下的系统模型和参数设置等问题。详细介绍了新架构的每一个模块,包括天线阵列模块、低精度模数转换器模块、模数混合预编码模块等,并且设计了适合新架构的帧结构。又提出了两种适用于新架构的波束训练方法,分别是基于低精度模数转换器辅助的模数混合预编码架构的无反馈波束训练算法和基于低精度模数转换器辅助的模数混合预编码架构的反馈型波束训练算法。本文还比较了提出的波束训练算法与经典波束训练算法的时间消耗情况,通过比较发现提出的波束训练算法只需L+1个时隙即可完成波束训练,其中L为毫米波信道有限径数,其值通常很小,因此时间比经典算法大大缩短了。此外,通过仿真分析本文提出的波束训练算法的成功率,仿真结果表明本文提出的低精度模数转换器辅助的模数混合预编码毫米波新架构具有可行性。最后,本文研究基于压缩图像恢复技术的毫米波信道估计方法。推导了3D(3D,Three Dimension)透镜天线的舵矢量,描述了基于3D透镜天线架构的毫米波通信系统模型,包括单天线用户和多天线用户的系统模型。本文将基于压缩图像恢复的SCAMPI(SCAMPI,Sparse noninformative parameter estimator based Cosparse analysis AMP for Imaging)算法改进并应用于信道估计问题中,根据信道的统计特性,将EM(EM,Expectation Maximization)算法植入SCAMPI算法中,进一步提高算法性能。本文还分析了SCAMPI算法的计算复杂度,仿真分析了在信道服从均匀分布、稀疏高斯分布下的SCAMPI信道估计算法性能,还分析了移相器数量减少的选择网络架构下的SCAMPI信道估计算法性能,以及SCAMPI信道估计算法的可达速率。仿真结果表明,在信道服从均匀分布下的SCAMPI信道估计算法性能优于SD算法,在信道服从稀疏高斯分布下的SCAMPI信道估计算法性能优于在信道服从均匀分布下的SCAMPI信道估计算法性能,并且当移相器数量减少10%时,信道估计性能降低不明显。