未来的无线通信的目标是提供更高的传输速率,更大的系统容量,满足万物互联的通信需求。在传统的低频段频谱上实现这一目标并不现实,通信必须向高频段的毫米波扩展。毫米波的物理性质决定了其需要和MIMO技术联合应用,以提供良好的服务。在毫米波系统中使用大规模天线阵列,在提高性能的同时,也带来了经济成本和电路设计方面的问题。如果采用数字预编码方案,需要配置和天线数相等的射频链路,实现难度很大。采用混合架构可以解决这一难题。在射频域配置由移相器网络组成的模拟预编码器,在基带配置传统的数字预编码器,可以大幅减少系统需要的射频链路的数量。混合架构的毫米波MIMO系统在信道估计和预编码方面有很多值得研究的问题。第一,天线规模比较大,信道估计规模也同步上升,有必要研究新的信道估计方法。第二,信道估计准确度的提升也是一个目标。第三,模拟预编码器由移相器组成,移相器只能调节相位,不能调节幅值,这种物理限制因素决定了必须研究适用于混合架构系统的预编码方法。针对这些问题,本文开展了一些研究。本文首先研究了毫米波在散射空间中的传播特性,讨论了毫米波信道的时域稀疏性和角域稀疏性。基于信道的稀疏性,本文使用群簇模型对毫米波窄带信道进行了建模分析。建立了混合架构毫米波MIMO系统的数学表示模型。鉴于毫米波MIMO信道是稀疏的,本文对基于稀疏信号重构的信道估计方法开展了研究。首先,介绍了压缩感知和稀疏信号重构的相关知识,讨论了OMP和CoSaMP重构算法。基于这两种算法,本文设计了基于OMP和CoSaMP算法的信道估计方法,并进行了仿真,分析了两种方法的性能。在此基础上提出一种改进的稀疏信号重构算法,该算法与OMP的不同之处在于每次匹配时选择多个感知原子用于筛选。仿真结果表明,改进的信道估计方法的性能优于基于OMP的信道估计方法,且计算复杂度基本没有增加。最后,本文对适用于混合架构毫米波MIMO系统的预编码方法进行了研究。建立了混合预编码问题的数学模型并讨论了该问题的优化目标函数。在此基础上研究了两种基于交替优化算法的混合预编码矩阵计算方法。仿真结果表明,两种方法都可以实现良好的性能,且实现复杂度较低。