论文部分内容阅读
迁移学习是运用已有的知识(源域)对不同但相关领域(目标域)问题进行求解的一种新的机器学习方法,它只需要标记数据很少甚至没有的目标任务样本。最近的研究表明,利用深度神经网络的迁移学习方法可以学习到更多可迁移的特征表示,这些特征表示可以很好地被用于领域适应的新任务。然而,随着领域差异的增大,任务特定层(task-specific layers)中的特征可迁移性急剧下降。因此,主要的瓶颈在于如何有效匹配不同领域之间的概率分布差异,进而度量并减少领域差异,增强任务特定层中表示的可迁移性。本文提出三种基于映射的深度迁移学习方法:B-JMMD(Balanced Joint Maximum Mean Discrepancy,B-JMMD),WBJMMD(Weighted Balanced Joint Maximum Mean Discrepancy,WB-JMMD)和ADAMM(automatic domain alignment and moment matching,ADAMM),旨在将源域和目标域中的样本数据映射到新的数据空间,然后通过领域差异度量来减少跨领域数据偏置。(1)B-JMMD和WB-JMMD:在深度神经网络结构内,哪些特征表示的成分可以推断出领域样本的‘原始’的联合分布,这仍然不清楚。为此,本文提出两种新的度量跨领域联合分布差异的二阶最大均值差异距离:平衡联合最大平均差异B-JMMD和加权的平衡联合最大平均差异WB-JMMD。B-JMMD可以将多个任务特定层(task-specific layers)的特征映射到一个公共的二阶再生希尔伯特空间,自适应地权衡任务特定层中的隐藏表示(hidden representations)的边际分布和条件分布的重要性,达到更好地匹配联合分布的目的。WB-JMMD在B-JMMD的基础上,通过在整个训练过程中考虑对每一个批量大小(batch size)的样本做统计分析,在网络最后一层中动态调整类权重以抑制由类不平衡问题引起的不利影响,进一步减少领域差异。本文中只用WB-JMMD来解决半监督领域适应学习。BJMMD和WB-JMMD算法都可以通过随机梯度下降来执行,其中梯度通过具有平衡策略的反向传播来计算。(2)ADAMM:为了进一步提高基于矩匹配的特征映射方法的深度领域适应效果,本文提出一种基于自动领域对齐和矩匹配的深度迁移学习方法,首先在神经网络结构深度的每个领域特定层前嵌入自动领域对齐层,对源域和目标域进行初步对齐。然后在每个领域特定层之间加入矩匹配的度量(如MMD距离),用来将自动领域对齐层输出的源域和目标域特征映射到一个公共再生希尔伯特空间,进一步减少两个领域之间的分布差异,提高领域适应的性能。