自4G商用以来,宽带无线通信技术进入了飞速发展的阶段,5G及后续演进的系统提出了越来越高的通信速率需求。然而,以2.4GHz为主的地面通信的频谱资源几近枯竭,基于毫米波的通信技术研究逐渐成为热点。毫米波频段可利用带宽大,能有效解决当前频谱资源受限的问题。毫米波频段相比于低频段具有短波长、高路损、高阴影衰落、易堵塞等传播特性,因此,毫米波通信经常与大规模MIMO（Massive MIMO,M-MIMO）技术相结合,在保证数据传输成功率的基础上提高系统吞吐量。全数字M-MIMO系统因其每一根天线都需要独立的射频（Radio Frequency,RF）通道,使得实际应用中系统功耗和成本较高。在这种背景下,基于M-MIMO和毫米波的混合波束赋形架构被提出,该架构分为数字的基带预编码和模拟的RF预编码两部分,可以在保证通信质量的基础上,减少RF通道数量,有效降低硬件开销。本文针对基于M-MIMO毫米波通信系统中的混合波束赋形架构,重点研究该架构中预编码器的设计方法。基于完美信道状态信息（Channel State Informa-tion,CSI）的预编码器设计较为成熟,但是完美 CSI 的获取需要极大开销。因此,用户侧一般采用CSI有限比特反馈的方法,基站（Base Station,BS）端只能获得不完美的下行CSI。在毫米波通信场景中,根据用户终端移动特性可分为三类:1)固定接入;2)低速移动;3)高速移动。在此基础上,本文充分利用不同场景下用户终端的移动特性以及相对应的无线信道特性,进行了针对性的波束赋形设计和优化,进一步地减少BS获取CSI开销。具体而言,在用户固定接入与低速移动场景下,研究了基于有限反馈的混合波束赋形设计方法并进行了性能分析;在高速移动场景中,研究了基于运行轨迹的混合波束赋形设计。本文工作主要从下行CSI获取方法研究、混合波束赋形预编码设计、传输性能分析三个角度展开工作。本文的主要工作与创新点如下:（1）固定接入场景下,利用长时稳定的信道特性,本文提出了一种基于统计CSI的有限反馈混合波束赋形设计方法。其中,采用统计的信道状态信息设计RF预编码器,降低了用户对RF预编码器的反馈开销;采用包含RF预编码器和信道在内的等效信道进行基带预编码器的设计。等效信道由码本量化,而后由用户反馈到基站。为了减小码本尺寸,本文提出了一种基于长时信息的基带预编码器码本,通过对随机矢量量化（Random Vector Quantization,RVQ）码本中的码字空间折叠,使码字分布与真实信道分布一致,进一步降低反馈开销。最后对所提出的基带预编码器码本的性能进行分析,给出了用户速率与码本反馈比特数之间的关系。（2）用户低速移动场景下,利用毫米波信道中路径增益快变而路径角度慢变的信道特性,本文提出一种基于双时间尺度反馈的混合波束赋形设计方法。其中,采用长时间尺度变化的角度信息设计RF预编码器,基带预编码器则基于短时间尺度变化的低维等效信道信息进行设计。在给出双时间尺度反馈混合波束赋形设计之后,分别分析了基于完美CSI以及有限反馈CSI下用户的性能。最后,研究用户速率与反馈比特数之间的关系,求解出了有限反馈带来的性能损失,给出了反馈比特数与性能损失关系的闭式表达。（3）针对高速移动通信场景,本文主要考虑高速铁路（High-Speed Railway,HSR）无线通信。高铁的运行场景大部分是沿着轨道的直线运动,且信道中直射（Lineof Sight,LoS）路径占主导地位。利用这种信道特性,本文提出了一种基于运行轨迹的混合波束赋形设计方法。其中,为了减少高速移动场景下信道获取的计算开销,RF预编码器只利用LoS路径信道信息设计,而LoS路径的到达角（Angle of Arrival,AoA）与路径增益则通过列车实时位置来计算。而后,基带预编码器通过干扰抑制和功率分配进一步提升系统性能。