随着数字通信技术不断地发展,新兴产业的信道业务及传输速率的增加对解调系统提出了更高的要求。现代调制技术与解调技术是通信系统的基础,为了应对日趋严重的非线性传输信道,解调系统通常需对信道进行估计与均衡,而后再按规则进行判决。在复杂的无线信道下,多层次的神经网络模型表现出极好的时变信道自适应性能,有效补偿数字调制信号的失真;在判决性能上,深度学习依然有足够的容量提取大量信号的先验信息,并将门限值设定为接近理论的最小损失值。针对现有数字解调系统在复杂背景及衰落信道下检测困难以及非线性信道均衡的问题,本文将多层次神经网络结构的信号处理技术引入到了数字解调领域,并针对多径信道,分别独立设计了相应的均衡系统与信号检测系统。在多径信道的基带等效模型中,将多层感知器与信道均衡结合,提出了一种改进的权值优化算法,建立的自适应判决反馈均衡器基于星座图的欧氏距离展开性能分析,并对多普勒频移以及2-径模型造成的星座图模糊情况进行了校正。在仿真分析中,数字调制信号通过建模的多径信道传输,对结果进行了比较,在非线性条件下,相比自适应的线性最小均方算法的判决反馈均衡器,多层感知器结构的判决反馈均衡器具有更好的均方误差以及鲁棒性能,并在同样的基带解调映射规则下,多层感知器结构的均衡器取得了更低的误码率。最后,针对带通通信系统模型,为了提高频率选择性衰落信道下信号的解调性能,提出了一种稳定的卷积神经网络检测与判决模型。卷积神经网络的输入为时域的一维采样序列,通过构建两个串行的卷积层分别对同相分量和正交分量的信息进行独立的特征提取,后层的全连接层对已调信号的特征进行检测。仿真结果表明,双码元联合输入判决的卷积神经网络解调方案有效利用了相邻符号间干扰的大数据特征,在低信噪比下,对比归一化信道估计误差为5%的相干解调,16QAM信号误码率提升接近6dB。