在第五代移动通信系统（the Fifth Generation Mobile Communication System,5G）所包含的技术中,大规模多入多出（Multi-Input Multi-Output,MIMO）是其中一项至关重要的技术,它能够大大改善通信系统的传输性能。然而,在应用大规模MIMO技术时,除了关注到它所带来的优点,还要解决它所带来的技术挑战。在这些挑战中,信号检测是一个亟需技术突破的关键问题,它将直接影响通信系统的传输性能。由于在收发两端配备了大规模的天线,大规模MIMO系统中的信号检测算法除了要保证检测性能,还要具备较低的复杂度,否则难以在实际中进行应用。深度学习近年来逐渐被应用到许多行业中,并且相比传统方法表现出了更好的性能。一般来说,深度学习包括离线训练和在线预测两个环节,一旦深度学习算法通过离线训练将网络中的可学习参数调整到合适的值,那么在在线预测阶段深度学习算法对输入数据的处理为矩阵的乘法和加法,不涉及到复杂的数据处理操作,因此,通过深度学习来设计大规模MIMO系统中的信号检测算法,有望在算法复杂度较低的前提下实现较好的检测性能。为此本文进行了如下的研究工作:（1）介绍了大规模MIMO系统上行链路的系统模型以及信号检测问题中常用的信道模型,进一步引出现有的传统信号检测算法,包括最大似然（Maximum Likehood,ML）信号检测算法、线性信号检测算法以及非线性信号检测算法,然后通过仿真实验对不同种类算法的检测性能进行了分析,为接下来的研究奠定基础。（2）研究了大规模MIMO系统中现有数据驱动的深度学习信号检测算法,然后利用全连接神经网络（Fully Connected Neural Network,FCN）和卷积神经网络（Convolution Neural Network,CNN）设计了一种改进的信号检测算法。改进包括:优化网络结构、使用CNN减少待训练参数、引入可学习的残差向量和优化输入及损失函数。通过仿真及分析表明,所提算法具备更高的检测性能,并且算法复杂度和训练参数数量小于改进前的算法。（3）针对数据驱动的深度学习信号检测算法待训练参数过多、可解释性不强的问题,本文提出了一种模型驱动的深度学习信号检测算法,所提算法的设计原型为对称逐次超松弛（Symmetric Successive Over-Relaxation,SSOR）迭代信号检测算法。具体而言,所提算法将SSOR信号检测算法中每次迭代都视为深度学习中的一个层,然后将SSOR算法中的松弛参数设定为可学习的松弛向量,进一步引入可学习分段判决（Learnable Piecewise Decision,LPD）函数对信号进行自适应判决来提高检测性能。仿真及分析表明,仅需少量数据和较少的迭代次数便可完成对所提算法的训练。此外,在不增加算法复杂度的前提下,相较于SSOR信号检测算法,所提算法达到了更好的检测性能。