未来无线网络应用对峰值速率、时延、频谱效率、可靠性以及用户体验速率等指标都有着较高的要求,为满足这些要求第五代移动通信系统(5G,The 5th Generation)提出了大规模天线阵列、毫米波技术以及超密度网络等技术。然而,传统的通信理论在实现大数据传输以及复杂场景超高速通信方面存在一些固有的限制,例如复杂场景下信道建模困难、信号处理模块的优化不能保证全局最优等。近年来人工智能技术的迅猛发展为打破传统通信系统观念、解决通信系统面临的挑战提供了新的契机。本文针对传统检测技术遇到的挑战,研究了基于深度学习技术的检测方法与检测性能。首先对于非线性有记忆系统输出信号的检测,本文提出了神经网络的检测方法。描述了所研究的系统的原理,给出了用于检测的神经网络结构,讨论了训练参数的选取方法以及训练原理。使用MATLAB神经网络工具箱搭建神经网络,仿真了给出的神经网络结构在不同的非线性和记忆性参数,以及BPSK、QPSK、16QAM不同调制方式下的检测性能,结果表明与硬判决的方式相比神经网络检测有着显著的性能增益。另外,本文也仿真了神经网络检测的泛化性能,验证了其在用已知的信道非线性训练之后,仍可以用于检测带有未知非线性特性信道的输出信号。接着本文研究了基于深度学习的大规模多输入多输出(MIMO,Multiple-Input Multiple-Output)信号检测问题。最优MIMO检测问题被证明是一个NP困难(NP-hard,Non-deterministic Polynomialtime hard)问题,基于最大似然(ML,Maximum-Likelihood)准则和最大后验概率(MAP,Maximum A Posteriori)准则的MIMO检测算法的计算复杂度随着决策变量的增加迅速变得很庞大。本文仿真了利用深度展开原理逼近ML算法设计的DetNet的检测性能,仿真场景包括信道固定以及信道参数是变化的两种情形,给出了其在不同天线以及用户数规模下的检测性能。之后针对DetNet在可变信道、调制阶数变高、用户数以及天线数变多场景下效率降低的问题,提出了改进方案,并仿真了改进之后网络的检测性能。最后针对高速移动的正交频分复用(OFDM,Orthogonal Frequency-Division Multiplexing)通信系统以及毫米波段载波相位噪声较大的OFDM通信系统,多普勒频偏以及相位噪声带来子载波间干扰(ICI,Inter-Carrier Interference)的问题,受MIMO深度检测网络的启发,研究了抗ICI的OFDM信号检测网络结构以及检测原理,仿真了其在不同多普勒频偏大小、不同调制方式等条件下的检测性能。针对其在高信噪比处出现性能平层的问题,提出了信道预处理、级联迫零(ZF,Zero-Forcing)检测的改进方案,并仿真验证了该改进方案确实能够改善性能。为进一步验证基于深度学习的检测器性能,本文构建了含有信道编码的仿真环境,仿真验证所提出的检测网络在编码调制环境下的性能。之后针对多子载波的OFDM抗ICI检测问题,提出了深度滑动窗检测网络,介绍了其原理、训练方法以及性能仿真结果。