非合作信号处理技术无论是在民用还是军用领域均得到了广泛的应用,军用领域的应用主要体现在低截获概率信号的分析、定位等方面,民用领域主要被应用在频谱监管等方面。经典的基于统计信号理论的信号处理方法在面对复杂环境下的快速变化的电磁目标信号时,能力显得捉襟见肘。随着深度学习技术被成功实践于图像、语音等数据的分类识别任务中,许多学者将无线电领域的研究注意力转移到借助深度学习工具来解决当前非合作信号处理面对的辐射源“杂”、“多”、“变”的难题,但是对于深度学习的脆弱性却鲜有关注,特别是受到对抗样本等反智能技术的影响时,深度学习模型会受到致命的打击。本文将针对当前非合作信号处理面临的问题展开研究。对于复杂环境的适应能力,本文着力于提高非合作信号检测算法的低信噪比适应能力,所采取的的思路是充分结合信号的物理特性和深度学习模型自适应提取特征的优点,设计合适的深度学习结构和数据标注方法;对于深度学习脆弱性的问题,本文分析了对抗样本对深度学习模型的影响,并在此基础上采用了对抗训练的正则化方式,提高了深度学习模型的鲁棒性。基于上述思路,本文工作所取得的创新点可以总结为以下三个:1.本文从梯度下降的角度,提出了一种深度学习参数优化和对抗样本处理方法,提出了一种适用于信号处理的智能与反智能处理架构,从数据采集、数据标注到网络的设计和激活函数都结合无线电数据做出了改进;2.针对传统非合作信号检测算法对信号先验信息要求高,低信噪比条件下检测性能差,难以有效利用数据内在信息的问题。提出了一种基于深度学习的非合作信号盲检测算法,通过标签二次处理方法,将信号检测问题完全转化为适合深度学习处理的分类识别问题,设计了基于CLDNN结构的深度学习模型,可以自适应地利用信号内在的时域和频域信息,解决了信号盲检测算法无法利用信号先验信息、低信噪比环境下适应能力弱的问题;3.针对现有的深度学习模型的脆弱性,提出了一种基于对抗训练的调制识别深度学习算法,基于对抗样本的数据增强方法丰富了原有数据集,使得深度学习模型能够收敛到更平滑的局部最小值点,经过对抗训练后的模型鲁棒性更强,能够一定程度上抵御对抗样本的攻击,同时也提高了对原始样本的识别性能。