随着第五代（5G）无线通信技术的发展和通信数据的激增,用户对无线通信的服务质量和通信需求在不断增加。作为5G无线通信系统的关键技术之一的多输入多输出（Multiple-Input-Multiple-Output,MIMO）通信技术在保障系统高传输带宽和高可靠性方面有着卓越的表现,但是却是以大幅度提高通信系统的复杂度作为代价。为了能保持MIMO通信系统的优越性能,同时又能控制MIMO系统复杂度,天线选择（Antenna Selection,AS）技术引起了广泛的研究。然而,随着大规模MIMO系统中天线数量的增长,现有的基于传统数学优化方法的最优天线选择算法复杂度也随之明显增长,这大大限制了天线选择技术在大规模MIMO系统中的应用优势。随着机器学习（Machine Learning,ML）的应用越来越广泛,近几年在通信领域也有很大突破,将机器学习应用到天线选择以提升系统的性能和降低计算复杂度有着重大意义。因此本论文主要对MIMO通信系统和机器学习的背景和意义进行了介绍,也针对两者的研究现状进行了分析,结合两者的相关特性主要研究了基于机器学习的MIMO天线选择算法,并研究了基于深度学习的天线选择算法（Deep Learning Based Antenna Selection,DLBAS）在软件无线电（Software-Defined Radios,SDR）平台上的实现,主要工作内容简述如下:1)针对相干空时键控（Coherent Space-Time Shift Keying,CSTSK）MIMO通信系统发射端的天线选择场景,将天线选择问题看作一种多分类的问题,首次提出了基于深层神经网络（Deep Neural Network,DNN）的发射天线选择算法,首先获取MIMO系统的信道状态信息（Channel State Information,CSI）,经过多分类标签标定,构建数据集并训练发射端天线选择模型。仿真分析可知天线选择模型具有96.4%的分类正确率,而且在CSTSK MIMO系统下的信道容量非常接近最优,其选择复杂度也远远低于最优的穷举天线选择算法。2)针对大规模MIMO通信系统联合发射端和接收端的天线选择场景,首次提出了基于卷积神经网络（Convolutional Neural Network,CNN）的发射接收联合天线选择算法。首先通过获取大规模MIMO系统的CSI矩阵,运用多标签标定的方式构建数据集,其次根据CNN的特性设计多通道分类模型,最后通过数据集训练神经网络得到联合天线选择分类模型。仿真分析可知联合天线选择模型的分类正确率达87.9%,而且在大规模MIMO通信系统的信道容量非常接近最优,但相比最优的穷举算法,其选择复杂度大大降低了,从而减少了系统硬件的损耗。3)基于以上两个算法的研究,提出了一种新型的基于DLBAS辅助的SDR通信平台,基于实测数据构建信道数据集和训练DLBAS分类模型,并且构建深度学习决策服务器和完成DLBAS分类模型的部署,实现了MIMO SDR平台和深度学习决策服务器之间的通信。通过实测数据研究分析可知,本文提出DLBAS算法具有良好的通信性能,验证了算法的正确性和有效性。