近年来,由于深度学习的应用越来越普及,我们擅长的通过大量标签数据来训练网络模型的方法越来越成熟。无论在图像识别、语音识别、还是在自然语言处理方面,都取得了很大的应用成功。但随着互联网的极速发展,多样化数据的膨胀,我们的网络模型也遇到了新的瓶颈。传统的机器学习模型对样本和应用两类数据集的特征分布要求满足独立同分布,且训练后的模型对新环境缺乏泛化能力,然而现实世界的物质形态是多样化的。那么,我们需要考虑如何将原有的知识模型迁移到新的领域中,以适应新环境的应用,而不是每当进入新的领域时,又从零开始学习知识。我们把这种迁移过程称为迁移学习。因此,针对迁移学习理论具有重要的研究价值,它能帮助我们的模型迅速地适应新领域,以应对瞬息万变的信息时代。本文首先从浅层网络模型的迁移过程入手,以简单、直观易懂的方式表述迁移学习的具体流程,并作为对比实验之一,与后续深度模型的迁移学习实验形成对比。然后分别从特征相似性和其概率分布相似性的层面上,提出几种度量相似性的方法,应用于深度模型的迁移学习过程当中。本文主要工作点如下:1、引入一种潜在相似性特征的筛选法。首先由已知领域的数据集对卷积模型及分类模型进行分类训练。然后由该模型的卷积部分对未知领域的数据集进行筛选,因每个卷积核等同于一个特定的特征过滤器,根据两类领域数据集通过的过滤器的输出值大小的对比,则能得到每个卷积后特征的相似度。进而可得到两类领域数据集在特征方面的相似度,从而完成模型的迁移。2、使用特征的整体概率分布相似性来评判相似特征的方法。先由已知和未知两类领域数据集分别经过已训练好的卷积模型得到输出数据集,再对输出数据划分区间范围处理,并建立特征的离散分布律。然后再使用KL散度检验法,其检验法从某一特征的全局概率分布出发,而忽略局部、个别分布差异的情况,计算其在两类领域数据集中的整体分布差异,这样可得到特征的整体概率分布相似性量化值。3、提出一种相似性动态量化的迁移学习算法,该算法也是基于特征的边缘概率分布相似性。与上述第2要点不同的是:本方法将从局部、细化到每个取值区间的概率分布来计算相似性。这样特征的分布相似性将是动态化的,是随着卷积部分模型的输出特征值而定,从而实现动态化微调训练参数。然后再建立一种联合评判相似性的函数,函数由特征相似度和分布相似度两个自变量组成,并对自变量设置可调权重。由评判函数综合评估每个特征的相似性,并在迁移网络模型训练中,针对相似性特征所连接的权值参数的调整幅度由其相似性的程度而定,而不是统一的调整幅度。