作为4G和5G的关键技术,多输入多输出技术（Multiple-Input Multiple-Output,MIMO）和正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）在不增加系统带宽的情况下极大改善了频谱利用率,有效地提高了系统容量和传输速率。在无线通信系统中信道估计和信号检测是长久以来的难题,特别是天线维度提高后,MIMO信道更加复杂,传统信号检测算法复杂度会急剧上升。如今第三次人工智能浪潮深刻改变了各行各业,深度学习与无线通信技术结合的智能通信,被越来越多的学者认为是超5G无线通信的研究热点。本文面向MIMO-OFDM通信系统,采用深度学习网络的模块化应用方法,对基于深度学习的MIMO-OFDM信号检测算法展开研究。首先,本文研究了关于MIMO-OFDM系统信号检测的关键技术。在分析MIMO-OFDM无线信道特性后,推导了传统的信道估计和信号检测算法并分析了各自优点和弊端;然后介绍了深度学习网络的构成和优化过程,并且调研了经典深度学习模型在无线通信系统中的应用,包括信号检测、调制识别分类和MIMO信道反馈等,进一步分析了利用深度学习网络代替无线通信系统中功能模块的可行性,为设计MIMO-OFDM信号检测的深度网络模型提供有力技术支撑。其次,本文研究了基于数据驱动深度学习的MIMO-OFDM信号检测算法。针对传统MIMO系统信号检测技术可靠性差的问题,提出了一种组合DNN网络的信号检测模型:Multi-DNN（Multi-deep Neural Networks）,该模型采用前后级联的两个全连接神经网络分别取代信道估计模块和信号检测模块,利用最小二乘估计（Least Square,LS）得到初始信道参数,通过Multi-DNN进行信号预测,进一步提高了MIMO信号检测的精度;针对OFDM系统信号检测过程的信道解码问题,提出了一种基于残差连接卷积神经网络的检测算法:DCNet（Decoding Network）,该模型利用一维卷积层和全连接层分别进行特征提取和信号分类,对的OFDM系统接收机进行全局优化,直接估计出的比特信号。最后,通过对比仿真实验验证了所提两种模型的有效性。最后,本文研究了基于模型驱动深度学习的MIMO-OFDM信号检测算法。针对数据驱动信号检测模型训练过程中标记数据需求量大、时间成本高等问题,提出一种用于OFDM接收机的模型驱动深度学习模型CSNet（Channel Estimation and Signal Detection Network）。该模型将OFDM接收端分成信道估计模块和信号检测模块,为了提升深度学习网络的训练速度和模型的泛化能力,采用线性最小均方误差和迫零检测分别对两个模块中的神经网络进行参数初始化。此外,CSNet中采用基于离散傅里叶变换（Discrete Fourier Transform,DFT）的平滑器来增强去噪,进一步加快DNN网络的训练速度和检测精度。然后,将该模型集成后扩展到MIMOOFDM系统中,进行对比实验,仿真结果表明,无论是线性失真还是非线性失真的情况下,模型驱动深度学习模型CSNet均有更好的误码率性能。