基站端配置大量天线的大规模MIMO技术是第五代移动通信（5G）的重要技术。本论文以大规模MIMO通信系统为背景,以提高系统效能为目的,对相关技术进行了研究。针对大规模MIMO系统中的近场效应问题,本文采用多端口网络技术对此进行研究,重点分析了近场条件下大规模MIMO系统解耦匹配网络（DMNs）的联合设计。此外,波束赋形技术是无线通信中重要的信号处理技术,能显著提高系统频谱效率,由于大规模MIMO系统天线数增多,使得数字波束赋形技术在实际中难以实现,针对此问题本论文对Massive MIMO系统中的混合波束赋形技术（HBF）进行了研究。首先,对大规模MIMO技术、多端口网络技术、波束赋形技术进行了总结。具体涵盖MIMO系统容量、多端口网络模型、数字波束赋形算法和混合波束赋形系统方案,以及毫米波通信的窄带集群信道模型。然后,对基于多端口网络的Massive MIMO系统近场模型和优化匹配网络进行了研究。研究了多端口网络模型,针对大规模MIMO系统存在的近场效应,利用多端口网络分析技术分别给出了基于阻抗矩阵（Z矩阵）和散射矩阵（S矩阵）的MIMO系统模型的表达式,对发射端和接收端的DMNs进行了联合设计,给出了DMNs的迭代算法,推导了整个系统的等效信道矩阵,并据此进行了系统分析。仿真结果表明,考虑了近场效应的DMNs可以降低天线间的相关性,改善信道条件,提高传输效率,提升系统容量。之后,对单用户毫米波Massive MIMO系统的混合波束赋形技术进行了研究,将混合波束赋形设计解耦成发射端和接收端的矩阵设计。研究了基于正交匹配追踪（OMP）算法和交替最小化迭代（Alt Min）算法的混合预编码矩阵设计方法。在此基础上,提出了两种改进方式。其一,采用基于信道矩阵的右奇异值矢量（RSVs）码本,提出了基于RSVs码本的OMP算法（RSVs-OMP）,并基于RSVs码本提出了并行预编码算法（RSVs-PS）和直接选择算法（RSVs-DS）。RSVs-PS和RSVs-DS算法避免了迭代运算,降低了算法的复杂度;其二,给出了基于最优预编码矩阵和残差矩阵的SVD的相位提取迭代算法（SVD-PEI）,此算法无需构造候选码本集合。仿真结果表明,相比于OMP算法,RSVs-OMP算法能获得更高的频谱效率,且RSVs-PS算法和RSVs-DS算法获得的系统性能与RSVs-OMP算法非常接近。SVD-PEI算法的复杂度稍高,但能获得相对更接近最优预编码的频谱效率。提出的两种改进方式对于系统的适应性更好。最后,研究了多用户毫米波Massive MIMO系统的混合波束赋形技术。给出了基于块对角化算法（BD）的多用户预编码算法,包括BD-OMP,BD-Alt Min,BD-RSVs-OMP,BD-RSVs-PS和BDRSVs-DS算法。提出了改进的基于离散傅里叶变换正交基（DFT）的等增益传输（EGT）-块对角化（BD）两阶段算法。仿真结果表明,给出的几种基于BD的多用户预编码算法能获得较好的系统频谱效率。相比于BD-OMP算法,BD-RSVs-PS,BD-RSVs-DS算法能在保证系统性能的同时具有更低的复杂度。提出的基于DFT的EGT-BD的改进算法在用户数较多的情况下依然具有良好的系统性能,相比全数字BD算法,基于DFT的EGT-BD的改进算法更适用于用户数较多的MIMO系统。