作为一个新兴机器学习研究领域,深度学习的概念主要来源于人工神经网络的研究,目的是在建立可以模拟生物大脑进行分析、学习的人工神经网络。近年来,深度学习无论是在理论上还是应用上均取得惊人的突破,其原因除了理论上受启发于神经系统,具有很好的理论支撑,也获利于高速发展的互联网时代所带来的红利,即既为深度学习的训练提供了强大的计算机资源,也为其提供了丰富的训练数据。强大的特征逐层自我学习能力促使深度学习理论交叉研究的深入以及应用领域的不断扩大,然而在非平稳环境中大数据的多重标签以及目标任务领域标注数据稀缺等特点要求在获取深度学习训练数据时需结合实际问题进行人工处理等,这在一定程度上限制了深度学习发展。因此研究非平稳环境下的深度学习理论及其运用成为深度学习领域中极具价值和富有挑战性的热点方向之一,同时也具有一定的现实意义。本论文在图像处理背景下结合非平稳大数据的特点深入研究深度学习理论、模型及应用,主要工作如下:(1)深入研究深度学习理论、模型及相关技术,主要包括常见的深度学习模型,以及数据增强和深度神经网络的可视化等相关技术,为下文结合非平稳环境中大数据的特点研究深度学习理论提供了技术支持及理论基础。同时结合迁移学习研究在非平稳环境中当目标域有效标注数据稀少、相关域标注数据充足时,通过知识迁移的方式使用相关域的数据特征对目标域深度学习模型参数初始化,从而提升模型的性能,为后文基于免疫理论的卷积神经网络模型提供理论依据。(2)结合非平稳环境下大数据的多标签特点,提出一种多标签卷积神经网络模型。卷积神经网络在图像处理尤其是图像分类方面取得领先于传统技术的成果,但很少使用相同样本不同标签之间的隐藏语义,本论文的多标签卷积神经网络在传统卷积神经网络的基础上引入标签语义,提升模型在图像分类方面的性能。并通过实验验证了模型在多标签数据集上可以取得不错的效果。CIFAR-100数据集上的实验表明本论文的多标签卷积神经网络在top-1和top-5分类识别率上平均提高2.3%和2.7%。(3)将深度学习理论与人工免疫理论中的人工免疫记忆模型进行结合,提出一种基于免疫理论的卷积神经网络模型,旨在通过理论交叉研究实现卷积神经网络的模型重用。通过计算未知抗原与抗体之间的亲和力选择与未知抗原最匹配的抗体完成卷积神经网络的重构,其中未知抗原是指使用降噪稀疏编码器提取的有关待识别图像的特征,而抗体是指使用卷积神经网络通过监督训练学习到的关于训练数据集的特征,主要为卷积核部分。最后结合实验结果对模型进行了深入的分析,也为后续的模型改进及课题研究提供了方向和思路。最后,总结全文并对未来的研究内容进行了展望。