传统方法一般将通信物理层问题建模成特定的数学模型,使得通信过程具有一定的可解释性。但在有些复杂场景下,通信问题难以精确建模,或者建立的模型过于复杂,增加了算法复杂度,难以支撑低时延的约束。而近年来,基于数据驱动的深度学习技术在通信系统中的应用也逐渐成为当前的研究热点。深度学习技术具有强大的表征能力,可以从大量的训练数据中学习到数据分布间的复杂关系,且分布式和并行计算的架构保证了其高效的计算处理能力。本文利用深度学习技术,对频谱感知、OFDM系统的信道估计和信号检测技术展开了深入的研究。本文主要研究内容如下:1)针对传统能量检测器存在SNR-Wall的情况,提出一种不需要噪声功率和主用户信号等信息的深度学习频谱感知算法。首先,本文设计了一种频谱感知网络（S~2Net）来对单节点接收信号进行检测,在线部署时可以直接预测主用户信号有无。在此基础上之上,本文进一步提出采用自动决策网络（ADNet）来融合多个分布节点的检测结果,从而进行综合决策。相关实验表明,本文提出的基于深度学习的频谱感知网络S~2Net相比传统的能量检测器可以获得更高的检测率和更低的虚警概率。与单节点检测相比,融合多个分布节点检测结果的自动决策网络ADNet可以进一步提高检测率,降低虚警率。2)针对OFDM系统,提出了一种基于深度学习的信道估计方法。基于OFDM系统中时频二维信号与二维图像的相似性,本文将信道矩阵看作二维的自然图像,参考图像超分辨率的思想,采用一种基于二阶注意力的高效卷积神经网络来构建信道估计网络（CENet）,从导频信号中估计出信道响应矩阵。在此基础之上,进一步探究了不同损失函数对训练模型效果的影响。相关实验表明,结合Charbonnier损失和全变分损失函数,本文所述基于深度学习的信道估计网络（CENet）可以获得超越传统信道估计算法的信道估计性能。3)针对OFDM系统,提出了一种基于深度学习的信号检测方法。在前述基于深度学习的信道估计研究基础之上,本文将信号检测任务看作是一种信道响应已知条件下的条件式信号恢复的过程,设计了一种信道条件式恢复网络（CCRNet）对传输信号进行恢复。在CCRNet的条件融合模块,引入了一种基于低秩分解的双线性残差层来增强模型表征能力。相关实验表明,将本文所述信道条件式恢复算法与前述信道估计算法相结合,本文提出的基于深度学习的信道估计与信号检测联合方案相比其他传统方案可以得到更低的误码率,获得更好的信号检测效果。