大规模MIMO(Massive MIMO)系统在基站端配置上百根甚至更多的天线,显著提高通信系统的空间分集增益和空间复用增益,大幅度提升系统性能。当用户数目一定时,随基站端的天线数目增长,用户间的信道将呈现渐进正交的特点,且系统中的噪声将逐渐消失。在大规模MIMO系统中使用简单的线性预编码就可以接近系统的可达容量。在实际的通信系统中,考虑到实现复杂度和收发端信号处理的能量消耗,基站的天线数目不可能无限增加。当天线数目饱和以后,额外的功率消耗并不能带来系统性能的有效提升。如何有效地选择天线并利用选择天线进行高效率通信是大规模MIMO系统的研究问题之一。本文对大规模MIMO系统下行传输的天线选择相关问题进行了研究,主要研究内容包括:(1)大规模MIMO系统天线选择问题研究。研究了非相关场景下最优天线选择、基于模的天线选择、基于相关性的天线选择、递增＼递减天线选择及相关场景下基于相关矩阵的天线选择等算法的原理和特点。在此基础上,提出了定长和非定长滑动窗天线选择算法。其中定长滑动窗天线选择算法基于递减思想,每一步从信道矩阵的头或尾部删除一根容量损失较小的天线,复杂度较低。非定长滑动窗天线选择算法能够根据系统能效确定最优的窗口长度,进行连续的天线选择,性能优于随机天线选择且算法复杂度较低。(2)大规模MIMO系统线性预编码研究。分析了 MF、ZF、MMSE预编码并通过仿真比较了不同预编码的系统性能。针对MMSE预编码矩阵求逆硬件效率较低这一问题,我们提出了一种简化的矩阵求逆近似算法,该算法利用Chebyshev迭代对Neumann级数的初始化进行优化。仿真表明所提出的算法能够以更少的项数、更少的容量损失获取接近原始预编码矩阵的表现。另外,基于滑动窗场景,提出了大规模MIMO增减天线时ZF和MMSE预编码的递推算法,该算法利用天线选择前预编码的初始状态避免了矩阵求逆,复杂度较低。仿真结果表明该算法能够带来和原始MMSE预编码矩阵接近的容量性能。(3)大规模MIMO系统信道估计及导频结构优化研究。研究了基于导频序列的LS及MMSE信道估计技术。针对大规模MIMO 3D信道模型,通过优化导频功率分配和导频长度,提出了一种能够最小化信道估计MSE的导频结构。仿真结果表明,所提出的导频结构减小了信道估计的MSE,提高了接收信号的SNR。