随着第五代移动通信技术(5G)的发展,移动数据用户对于网络的稳定性、信号质量和传输速率的需求愈来愈高,为应对其海量设备连接、爆炸性增长数据量、新兴通信业务、低时延精准要求及丰富应用场景,Massive MIMO(大规模天线技术)是第五代移动通信(5G)中提高系统容量和频谱利用率的关键技术,引起了通信技术研究领域的广泛关注与研究热潮。与上一代MIMO技术相比,Massive MIMO有着更加显著的性能优势,需要在基站(BS)侧部署数十或上百根天线,来提升频谱效率和信道容量,同时不会增加系统带宽以及功率。但是大规模MIMO技术会增加硬件复杂度、经济成本和能耗,于是为解决以上的不足天线选择技术应运而生,它可以从众多天线中选择出性能最好的天线,降低整个系统的硬件成本,提高传输效率。首先,本文介绍了Massive MIMO技术的基本架构,以及目前天线选择算法的研究现状、背景与分类,给出了天线选择算法的基本模型,并且仿真实现了已有的经典天线选择算法,并进行性能对比,并且分析特定应用场景下的一些不足。然后,对Massive MIMO天线选择算法进行深入研究。针对已有算法的一些不足,提出了一种改进的双目标研究思想,将信道容量和误码率同时作为性能指标,以较小的性能损失选择出信道容量和误码率都具有较好性能的天线,对于两种性能都看中的实际应用场景更加适用。建立了新的双目标函数和改进的Massive MIMO双层迭代天线选择算法的基本架构。将天线选择技术与信号检测的分步过程改为同步进行,消除在天线选择之前就存在的子信道之间的干扰,改进的算法更加适用于信噪比较低的场景,使得整体的双性能更优。接着,对MIMO相关信道矩阵进行研究,针对未知CSI(信道状态信息)的信道进行估计。其次,把MIMO检测中的格基规约CLLL算法引入到天线选择递增算法之中,使得信道估计矩阵更加正交,各子信道之间互相干扰更小,利用一种快速检测误码率的VLD算法进行误码率的检测,降低了整个改进双目标迭代算法的计算复杂度。最后,对改进的Massive MIMO天线选择算法性能进行仿真实验研究,并验证其性能效果。先对已有的天线选择算法进行对比,选择出次优递增算法在综合方面拥有最好的性能,以此作为改进算法的基础。接着验证了信道估计矩阵的准确性以及格基规约算法对信道估计矩阵的适用性,仿真结果表明误差较小。然后对于改进双目标算法进行性能验证,通过改变发送端和接收端选择天线数目、天线间相关系数、信噪比大小等参数的大小,改进的双目标算法具有较好的性能。最后对于算法复杂度进行对比分析。