随着未来移动通讯领域的各类应用与场景的不断地出现和越来越丰富,随之而来面临的也将会是一个指数型高速增加的移动设备数量以及越来越海量的用户数据,而无线移动通讯领域也将会迎来,更大容量、更密的网络、更低时延等各种严峻挑战。正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）技术正是应对这些挑战的一个方法并广泛应用于当今的各类通讯网络系统中。随着深度学习相关算法研究的进一步发展,利用新一代人工智能的方法与OFDM系统结合成为了一个研究热点。基于此本文研究了两个方面。其中第一个是基于神经网络的OFDM系统信道估计算法的研究。第二个是在第一个研究的基础之上设计了一个神经网络接收机。在第一个研究点中,本文针对传统梳状导频系统信道估计误差产生的原因,研究了两种基于神经网络的OFDM信道估计算法:DAE信道估计算法和AE-CGAN信道估计算法。其中DAE信道估计算法采用DAE网络代替传统的频域插值。仿真结果显示,与传统的频域插值算法相比,DAE信道估计算法的插值误差更低,并且随着信噪比的提升,DAE信道估计方法的MSE性能更加优越。DAE网络学习到了信道的深层表达,并且能够处理导频处噪声的影响。而AE-CGAN信道估计算法采用AE和CGAN两个神经网络代替传统频谱插值。仿真结果显示,AE-CGAN信道估计算法的性能总体与DAE算法相当,并且在低信噪比时表现更加优秀。可以看出,基于神经网络的方法能够处理导频处信道传输函数（Channel Transfer Function,CTF）污染问题的同时解决多径信道失真的影响。在第二个研究点中,神经网络接收机方案可以有效利用传统通信系统的数学模型,通过在传统接收机中插入两个神经网络来对传统方法的误差进行弥补。其中第一个神经网络可以利用本文所提出的DAE或AE-CGAN网络。第二个神经网络则可采用全连接形式进一步弥补由于噪声和多径效应造成的误差。实验结果显示,全连接神经网络的层数选择5层时为较优,神经网络接收机的误码率性能优于传统算法,但在低信噪比时两者差距不大。除此之外本文还对神经网络接收机的鲁棒性能进行了研究,结果显示当信道统计参数发生改变时神经网络接收机也能够应对,性能损失不大,展现出了较好的鲁棒性能。