大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）技术通过在基站端布置大量天线,利用信道之间的渐近正交性,可以有效消除用户间干扰,同时给通信系统带来巨大的性能提升,而成为5G的关键技术并被广泛使用。在大规模多用户MIMO（Multi-User MIMO,MU-MIMO）系统中,不正确的用户分组会引起严重的用户间干扰,因此多用户选择对大规模MIMO系统性能至关重要。同时,在具有大量用户的大规模MU-MIMO系统中,由于传统的基于穷举搜索的多用户选择算法计算复杂度极高,且之前提出的低复杂度的贪婪多用户选择算法会产生较大的性能损失。因此,为了解决上述问题,本文针对多用户选择问题进行了研究,具体工作如下:（1）本文利用基于种群的增量学习（Population-Based Incremental Learning,PBIL）算法提出了一种基于PBIL的MU-MIMO多用户选择算法。首先,利用初始概率矢量生成初始种群;其次,通过竞争学习从所有个体中提取出最佳个体和优势个体,并利用其信息更新概率矢量;然后,设计了正交排列来对最佳个体进行变异以增加解决方案的多样性,并利用更新后的概率矢量和正交排列来生成下一代种群中的新个体,从而实现种群的进化;最后,引入系统的信息墒作为进化的终止条件,进化完成后输出多用户选择方案。所提出的算法不仅算法效率较高,且能够避免经典PBIL算法的局部陷阱问题。仿真结果表明,在具有大量用户的大规模MU-MIMO系统中,提出的多用户选择算法在保持较低复杂度的同时可以获得良好的和速率性能。（2）本文引入了基于十进制编码的PBIL（PBIL Based on Decimal Coding,D-PBIL）算法提出了一种以用户为中心的基于D-PBIL的无蜂窝大规模MU-MIMO接入点（Access Point,AP）选择算法。首先,利用初始概率矩阵生成初始种群;其次,通过竞争学习从所有个体中提取出最佳个体,并利用其信息更新概率矩阵;然后,设计了定向变异与随机变异相结合的变异方式,以加快算法的收敛并增加个体的多样性;最后,种群进化完成后,利用系统的信息熵作为迭代的终止条件,迭代结束后输出AP选择方案。无蜂窝大规模MIMO系统借助大量低成本的被称为AP的服务天线为分布在通信覆盖区域内的用户提供服务,能够提升系统中95%的用户的频谱效率,但这种性能优势是以巨大的回程开销和功耗为代价的。实验结果表明,提出的算法可以在大幅度降低无蜂窝网络功率消耗的同时获得较高的和频谱效率性能,并且在一定程度上增加了用户被服务的公平性。