本文研究了毫米波大规模多输入多输出系统的预编码和信道估计相关技术,具体如下。针对全连接架构下需要使用大量移相器,本文提出了一种混合使用移相器和开关的可变移相器（Variable Phase Shifter,VPS）架构。针对VPS架构,提出了一种混合预编码（Hybrid Precoding Design,HPD）方案即VPS-HPD,该方案交替地优化模拟预编码和数字预编码,并根据信道状态信息来优化相位。为了降低VPS-HPD方案的计算复杂度,提出了一种低复杂度（Low Complexity,LC）的混合预编码方案即VPS-LC-HPD,包含了三个阶段的交替优化,并且每一阶段均有闭合表达式。除了降低计算复杂度外,还考虑了降低硬件复杂度。通过进一步减少开关的使用量,本文研究了一种分组连接的VPS架构并且提出了混合预编码算法,其中混合预编码问题被划分为多个相互独立的子问题,每一个子问题都可以由VPS-HPD或者VPS-LC-HPD方案灵活的求解。仿真结果证实了提出的方案可以在显著降低计算复杂度和硬件复杂度的基础上,实现优于全连接架构的频谱效率性能。本文还考虑了在VPS架构下,使用信道估计方案来获取信道状态信息。主要研究了一种基于顺序和自适应子空间估计（Sequential and Adaptive Subspace Estimation,SASE）的信道估计方案,该方案将待估计的信道矩阵转化为列子空间和行子空间分别估计。在列子空间估计阶段通过优化设计混合预编码器和混合合并器,可以降低信道测量次数,并在估计出列子空间后优化混合合并矩阵以提升估计性能。在行子空间估计阶段利用设计好的混合合并矩阵来产生接收信号,并在得到行子空间后优化设计混合预编码矩阵。最后可以求解出一个低维度的矩阵来得到信道矩阵。仿真结果表明,本文SASE方案在较低的计算复杂度和较小的信道测量次数下,能获得优于最小二乘信道估计方案的归一化均方误差性能。