对于传统通信系统,已有大量的算法对通信系统中各模块进行优化设计,基于模块化的优化设计方法虽然能提高单个模块的性能,但并不意味着整个系统的性能最优。其次,现有通信系统只能按照预先优化设计好的方式进行工作,不能随着需求或环境的变化自动进行新的优化,欠缺一定的灵活性。深度学习具有结构化、智能化等特点,将深度学习应用到通信系统的优化设计中,能够更好的适应下一代通信系统需求或某些特定应用场景。接收机是通信系统中的重要组成部分,通过深度学习,可以整体优化接收机的信道估计、信道均衡、解调及解码过程,提高通信系统性能。为了研究深度学习在通信物理层中应用的可行性及性能表现,论文首先分析了利用神经网络实现通信系统基础模块——解调器的可行性。论文实现了一个简单的神经网络解调器和基于改进后K-means算法的解调器,仿真结果表明,高斯信道下,与传统硬判决解调器相比,基于神经网络的解调器误码率稍低,但是其需要针对不同的调制方式进行训练;而K-means解调器所需训练数据少,但是误码率相对稍高。在此基础上,论文实现了由频偏校正网络、信道估计网络和信道均衡及解调器网络这三个神经网络构成的物理层接收机,并整体进行训练优化。仿真结果表明,在衰落信道下,基于神经网络的接收机误码率相对于传统接收机更低。而无线通信经常工作在衰落信道环境下,因此,在物理层引入深度学习有助于提高通信系统性能。为了进一步探索深度学习在实际通信系统物理层中应用的可行性,本文以OFDM(Orthogonal Frequency Division Multiplexing)系统为例,设计完成了基于深度学习的OFDM接收机。论文首先分析了将信道估计、信道均衡及解调器等利用单个神经网络模型进行训练处理的性能,并通过仿真表明在导频数目较少时,相比于基于MMSE(Minimum Mean Square Error)和LS(Least Square)信道估计算法的OFDM接收机,该神经网络接收机性能表现更好。当导频数量增加时,相对于LS算法,基于神经网络的OFDM接收机表现依然较好,但是相比于MMSE信道估计算法,在高信噪比的情况下,基于神经网络的OFDM接收机性能表现相对较差。因此,本文将神经网络与传统的LS算法与ZF(Zero Forcing)算法相结合,设计了基于LS辅助的神经网络接收机,仿真结果表明,改进后的神经网络接收机在误码率性能表现上更好,但其训练复杂度也较高。