未来5G无线通信的超高传输速率和系统容量需求促进了移动网络的发展,而传统的微波频率在低频段上难以实现这一目标,因此必须向高频段的毫米波来扩展。毫米波的物理特性决定了其需要与大规模MIMO技术来联合应用,以提供更好的用户服务体验。但在毫米波系统中使用大型天线阵列,会在提高系统性能的同时也给系统设计带来巨大开销。与全数字和全模拟架构相比,混合模拟-数字架构可以大幅减少系统所需的射频链路数量,在性能与能耗方面取得良好的平衡,是一个很有前景的解决方案。然而,该系统架构下的信号处理问题却成为了一项挑战,其中包括信道建模、信道估计、信道预编码等。本文首先介绍了毫米波信号在散射空间中的稀疏分布特性,并在此之上构建了信道的一般数学模型。其次对不同收发机架构与预编码方案进行了分析对比,并采用功耗模型对系统架构进行了评估。之后对稀疏信号的重构算法展开了研究,并重点分析了贝叶斯压缩感知(Bayesian Compressive Sensing,BCS)理论在信道估计中的应用。然后,本文针对毫米波大规模MIMO系统中的稀疏信道求解问题,通过学习BCS推理分析将信号重构问题由实数域拓展至复数域,并将信道估计问题转化为参数化的概率模型,然后利用期望最大化(Expectation Maximization,EM)算法对模型参数进行求解,我们将此称为EM-BCS算法。与传统求解稀疏信道估计的凸优化类和贪婪迭代类算法(如,正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法)不同,该算法可以有效解决系统中存在的不确定性问题。接着,我们构建了基于全连接架构的毫米波大规模MIMO-OFDM系统模型,其考虑了收发双方的水平方向角,且采用了均匀线性阵列的天线结构。将EM-BCS算法应用到该系统的信道估计中,并进行了数值仿真。实验结果表明,与基于OMP算法的信道估计精度相比,基于EM-BCS算法的信道估计有着更优的重构性能。最后,我们构建了基于子连接架构的多用户毫米波大规模MIMO系统模型,其同时考虑了水平方向角之外的仰角情况,并使用了均匀平面阵列的天线结构。实验结果表明,EM-BCS算法可以很好地实现从单用户到多用户的应用拓展,且多用户系统的频谱效率要显著优于一般的单用户系统。