为应对未来移动通信系统需为人类提供泛在的信息服务这一挑战,无线传输技术及网络架构亟待取得新的突破。毫米波大规模多输入多输出(MIMO,multiple-input multiple-output)技术通过利用毫米波频段丰富的可用频谱资源,并结合大规模天线阵列技术,能够满足超高传输速率、超低通信时延和更强通信安全等未来移动通信系统需求,因而成为下一代移动通信系统的关键技术之一。目前,毫米波大规模MIMO仍面临着易于阻挡中断、硬件成本和硬件复杂度高、射频器件硬件不理想等技术难题。本论文针对毫米波大规模MIMO系统中的若干关键问题,从系统的遍历容量、初始接入阶段的波束训练、上行的数据传输性能、以及原型验证系统的构建这四个方面,对毫米波大规模MIMO无线传输技术展开深入研究。首先,研究并推导了有限维信道模型下点对点毫米波大规模MIMO系统的遍历容量。针对毫米波信道的稀疏特性使得毫米波系统遍历容量难以利用随机矩阵理论直接求解这一难题,创新性地采用受控不等式和有序统计等相关理论,推导出有限维信道模型中系统遍历容量的闭式近似表达,进一步地,通过Jensen不等式取得了系统近似遍历信道容量的新的闭式紧上界及其近似,并以此深入探究了信道空间相关矩阵的特征值、系统天线数等对有限维信道模型下点对点毫米波系统的遍历信道容量的影响,考虑到典型的短距离室内部署和大规模天线阵列的使用,推导了系统的高信噪比遍历容量,并利用高信噪比展开得到有限维信道模型下的容量曲线斜率及功率偏移。数值仿真结果揭示出系统遍历容量的闭式近似表达及其Jensen近似以及高信噪比容量分析均具有较好的紧性,从而可为后续的毫米波原型验证系统设计提供指导。其次,研究了收发两端存在有载波频率偏移(CFO,carrier frequency offset)时毫米波MIMO系统的波束训练性能,并提出了一种基于简化牛顿化的正交匹配追踪算法(NOMP,newtonized orthogonal matching pursuit algorithm)的压缩感知波束训练与CFO估计方法。考虑到波束训练在毫米波系统中占据时间开销较大,尤其是在初始接入阶段,基于压缩感知的波束训练方法在毫米波系统的波束训练时间开销上相比于穷举搜法和分层搜索法具有明显优势,进而针对实际系统中存在的硬件不理想因素,为在降低系统波束训练开销的同时,提高压缩感知波束训练方法对系统硬件不理想因素的鲁棒性,提出了一种基于简化NOMP的压缩感知波束训练与CFO估计方法。数值仿真结果揭示该方法可有效改善由于CFO等硬件不理想因素造成的压缩感知波束训练方法性能的下降,从而在系统初始接入阶段为基站和用户提供良好的波束训练性能。之后,研究了信道空间非平稳特性下多用户超大规模MIMO的系统上行传输性能,并提出一种针对信道空间非平稳特性的多用户超大规模MIMO系统有效实施方式。考虑到超大规模MIMO系统的硬件成本和硬件复杂度随天线数的增加急剧增加,提出了两种基于天线子阵列的低成本系统架构,另一方面,随着天线数的增多,天线阵列的尺寸不断增大,超大规模MIMO系统中信道的空间非平稳特性开始显现,基于此,推导了最大比合并(MRC,maximum ratio combining)和线性最小均方误差(LMMSE,linear minimum square error)接收机下考虑信道空间非平稳特性的系统上行遍历可达谱效率的闭式近似解析解,并由此对基于移相器的天线子阵列架构设计出了一种基于信道空间相关阵的块对角阵特征向量的移相系数设计方法,进一步地,为充分挖掘和利用多用户超大规模MIMO的信道空间非平稳特性,提出了两种基于统计信道信息的用户调度算法。数值仿真结果证实了上行可达谱效率闭式近似解析解的有效性,并展示了移相系数设计方法和用户调度算法的良好性能。同时也揭示出基于开关的天线子阵列系统架构结合基于统计信道信息的用户与天线子阵列联合调度算法以及LMMSE接收机不失为一种有效的低成本超大规模MIMO实施方式。最后,提出了一种可用于快速构建原型验证平台的系统架构,并设计和部分构建了基于移相网络的实时毫米波大规模MIMO原型验证系统。针对现有毫米波原型验证系统多采用可编程逻辑阵列(FPGA,field programmable gate array)编程,编程周期较长,调试难度较大,不适合于快速验证理论算法在毫米波大规模MIMO系统中的实际性能等问题,提出了一种结合软件无线电平台和多核通用服务器的各自优势、可用于快速构建原型验证平台的系统架构RaPro(Rapid Prototyping),并基于RaPro架构,设计了基于移相网络的实时毫米波大规模MIMO原型验证系统的系统架构,完成了毫米波系统的子系统构建。基于RaPro架构的16天线FD-MIMO原型验证系统实例和毫米波系统的子系统实测结果证实了RaPro架构的可行性和可扩展性,从而为构建完整的毫米波大规模MIMO原型验证系统以验证算法的实际性能奠定良好基础。