随着移动宽带服务和智能终端技术的快速发展,人们对更高移动网络速率和更稳定服务质量的需求也呈指数型增长,即将大规模部署的第五代移动通信系统（The 5th Generation Mobile Communication System,5G）也需要能够达到频谱效率和能量效率等方面更高的要求。大规模天线系统,也称之为大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）或大规模MIMO系统,作为5G的一项关键技术,具有传统MIMO技术无法比拟的优势,它通过在基站端部署成百上千根天线来服务相对少得多的用户,可以带来频谱效率和能量效率的大幅度提升,同时还具备其它巨大的应用潜力。然而,由于在基站端部署大量天线及需要服务大量终端设备,现有的大规模MIMO系统帧结构方案需要消耗大量导频资源来获取准确的信道状态信息（Channel State Information,CSI）,这不仅降低了有效载荷数据的传输速率,同时也造成了宝贵的通信资源的浪费。针对这一问题,本文对大规模MIMO系统的帧结构进行优化设计及性能分析,主要贡献如下:1.通过利用频分双工（Frequency-Division-Duplex,FDD）大规模MIMO系统中存在的CSI反馈等待时间,本文提出了两种新的FDD帧结构。这两种帧结构原理简单,不需要信道预测,可直接利用前一个传输时隙估计到的CSI在当前时隙进行数据预编码和传输,进而提高系统可获得的速率。2.通过利用贝叶斯神经网络的特点,本文提出了一种基于贝叶斯神经网络的大规模MIMO信道预测方法,并进而设计了一种信道预测辅助的FDD帧结构。贝叶斯神经网络既有传统神经网络强大的非线性拟合能力,又具备统计模型的推断能力,可以很好地拟合出收集到的CSI样本中潜在的数据分布并自动地推断出最优的网络超参数,因此适合于在非平稳和快变的大规模MIMO信道环境下进行信道预测。实验仿真结果表明基于贝叶斯神经网络的信道预测方式具有比传统预测技术更好的预测性能,且信道预测辅助的FDD帧结构可有效提高系统速率。3.通过利用信道老化效应下的时间信道相关性,本文提出了一种新的时分双工（Time-Division-Duplex,TDD）大规模MIMO系统帧结构方案。与需要连续地在每一个传输时隙发送导频的传统TDD帧结构相比,提出的TDD帧结构可以根据各个用户的信道老化情况或者说是它们的时间相关性来自适应的调整导频发送的频率,因而不需要连续的发送导频,从而可以最大化地利用各用户实际信道相干时间的冗余性,来减少导频资源的浪费及提高系统速率。本文也推导了信道老化下的系统可达速率,规约了一个组合优化问题来求解各用户最优的导频发送频率,并在最后给出了如何将该方案应用于实践的一些思路。综上所述,本文研究了大规模MIMO系统的帧结构优化设计问题,分别提出算法、方案来缓解现有大规模MIMO帧结构需要消耗大量导频资源带来的不良影响,实现了更高效且更灵活的系统数据传输,并在仿真实验中得到了验证。本论文的研究工作为未来大规模MIMO系统在FDD和TDD帧结构方面的优化设计提供了可行的思路。