随着第五代移动通信技术的发展,人们对于高速率大带宽的要求使得毫米波(millimeter-wave,mm Wave)大规模多输入多输出(Multiple Input Multiple Output,MIMO)系统成为了关注的焦点。由于离散透镜阵列(discrete lens array,DLA)的研究设计越来越成熟,这使得波束空间的概念被广泛应用于毫米波通信系统。根据波束域下毫米波特有的稀疏性,利用波束选择算法选择一些波束子集进行发射,可以在一定程度上减少射频(radio frequency,RF)链路数量,从而进一步降低MIMO收发信机的硬件复杂度和系统功耗,并且系统性能不会出现较大的损失。本文中,用户和RF链路的数量将不受限制,可以自定义选择的波束数量。首先,受到机器学习算法的启发,本文设计了一种基于自适应交叉熵(adaptive cross-entropy,ACE)的波束选择算法。通过不断更新各波束的概率分布,生成一个接近最优解的高概率解,从而解决波束选择中的组合优化问题。该算法不仅计算复杂度低,收敛速度快,而且系统的频谱效率接近全波束发射系统。接下来,本文给出了该算法的收敛性证明。另外,为了与其他智能算法进行对比,本文设计了一种基于遗传算法(Genetic Algorithm,GA)的波束选择算法。通过仿真比较了两种算法得到的频谱效率,并给出了计算复杂度分析。此外,受主成分分析(Principal Component Analysis,PCA)思想的启发,本文设计并推导了一种基于编解码的波束选择算法。基于此,本文设计了一种基于编解码的波束选择算法性能的判断准则,即原始信道矩阵和重构信道矩阵的距离范数差异。本文希望将该指标与系统的频谱效率一起作为衡量波束选择算法的标准,希望可以通过稍微调整算法的更新方向来减弱算法的波动,并且能得到更优的波束选择方案。最后,本文探究了当采用最小均方误差(Minimum Mean Square Error,MMSE)预编码时,波束选择算法对波束空间下毫米波大规模MIMO系统性能的影响。通过对偶等效上行链路,推导出系统下行链路的频谱效率公式。仿真结果表明,当采用MMSE预编码时,系统的频谱效率对波束选择算法不敏感,各算法性能差别较小,并且接近最优的全波束发射系统性能。