基于特征适配的迁移学习方法的研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:a372092
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今人工智能领域的研究热潮下,迁移学习作为机器学习的一大分支,成为了研究热点并且取得了显著的研究成果。因为我们正处于海量数据快速增长的时代,包括语音、视频、图像、文本等各种数据,所以机器学习为了解决不同的问题以适应不同的应用场景,就需要利用这些海量数据来训练得到最优的模型。但是在大数据量的背后确实存在一个令人关注且急需解决的问题,那就是缺乏对于大数据的信息标注。人工标注数据即需要消耗很长时间,也要花费大量成本。迁移学习训练的优化模型不需要大量的数据标注,通过已有标注数据的源域知识,可以帮助没有标注数据的目标域进行学习,从而解决缺乏标注数据的问题。数据分类和标注类似,具体到图像分类的应用,可以借助已有标注的源域信息,完成无标注的目标域的图像分类。因此,在数据标注和分类领域,迁移学习方法得到了广泛的研究和发展。迁移学习利用源域及目标域的数据和任务之间的相似性,将源域的知识迁移至目标域,训练出对于目标域的优化模型。因此,迁移学习算法的关键是度量源域和目标域的距离,进一步缩小两个域的数据分布差异性。本文对迁移学习方法进行研究,并将其应用在图像分类中,利用图像最重要的特征信息,在缩小两个域的特征分布差异性的前提下,得到更好的特征表示。本文提出了两种基于特征适配的迁移学习方法。1、张量是向量和矩阵的泛化,尤其适合表示向量或矩阵所无法自然表示的多线性关系。然而,大多数现有迁移学习方法是针对向量空间的,因而在很多应用问题中,不易于表示和保存重要的结构信息。在此基础上,本文提出了一种新的基于张量表示和适配正则化的特征表示的迁移学习方法,即张量子空间中联合域对齐和适配正则化的特征表示的迁移学习方法。当源域和目标域的数据分布差异较大时,只是将源域特征对齐潜在的共享子空间,会使得数据的扭曲过大。为了缓解这一问题,本文提出联合域对齐的方法,即将源域和目标域的数据在张量表示下,同时对齐共享的张量子空间。并且为了缩小源域和目标域之间的数据分布差异,保留样本间的流行一致性,本文在基于张量表示的空间求解中引入适配正则化,本文的适配正则化由动态分布对齐和图适配构成。最后融合联合域对齐和适配正则化,通过联合的优化求解共享张量子空间,获得基于张量子空间的源域和目标域新的特征表示。本文在几个公共的数据集上进行了大量的图像分类的实验,得到的实验结果表明了本文所提的方法相比于其它主流的迁移学习方法更鲁棒,验证了所提方法的有效性。2、现有的大多数迁移学习算法在解决图像分类的问题中,经常会存在图像类别的不平衡问题,即不同类别样本的数量差别很大,导致数据分布倾斜于样本多的类别,忽略了样本少的类别的重要性,这会影响整个源域至目标域的迁移结果。迁移过程中,样本的特征之间不仅存在相关性,特征和标签之间也存在着依赖关系,然而很多迁移学习方法也没有考虑特征和标签之间的依赖性。本文提出一种新的迁移学习方法即基于类平衡和表示学习的迁移学习方法。提出类平衡的随机过采样算法,控制源域和目标域的类平衡,减小源域和目标域的分布差异。同时提出基于图结构学习和希尔伯特-施密特独立性准则的表示学习部分,将其引入类平衡的样本空间中求解。图结构学习减小类内距离,希尔伯特-施密特独立性准则保存在类平衡下的特征和标签的内在依赖性。最后融合类平衡的随机过采样算法和表示学习,得到优化的域适配特征表示。通过在几个图像数据集上的实验,对比与其它的迁移学习方法,有效的提高了在图像分类迁移任务上的准确率。
其他文献
总结近10年计算机红外成像技术在针灸治疗疼痛类疾病中疗效验证、穴位选取、效果评价等方面有代表性的研究文献资料,分析该技术对针灸治疗疼痛类疾病疗效客观化的判定,探讨该
随着杂草抗药性不断发展蔓延,化学防治面临巨大挑战,化学防治依然占主导,如何充分利用现有的化学除草剂?先正达公司提出了"杂草早期防治",最大挖掘作物产量潜力的概念;并开发
阅读和写作是语文教育的重要环节,现在学生写作困难,提笔无思路,主要是因为阅读少,知识面窄,认识阅读的重要性,学会阅读,结合写作,提高语文的读写能力。
本文研究了外加魔芋葡甘聚糖(KGM)对鲢鱼糜凝胶特性的影响机制。将不同添加量KGM(0、0.5、1、1.5、2wt%)分别添加到鲢鱼糜中,进行二段式加热(先40℃加热60min,后90℃下加热30
国内外的研究者普遍认为,所谓“有效性”,主要是指通过教师在一段时间的教学之后,学生所获得的具体的进步或发展。也就是说,学生有无发展是教学有没有效益的惟一指标。新课程背景
作为一类新材料,高分子纳米复合材料在较低补强填料用量下能够显著改善物理性能和工艺性能。由于纳米粒子表面能高,通常呈凝聚状态,在复合材料的制备之前或制备过程中,使纳米粒子
体育教学中对学生创造性思维的激发与培养是培养学生创新能力的前提。近年来国外学者有研究提出,创造性思维需要超出知识的各种边界,才能产生真正的进展。同时过去的经验会妨碍个体对新颖情形的有效适应。过去的经验,会在新的情形中导致负迁移。笔者认为,培养学生的创造性思维,应从以下几个方面着手。    一、培养想象能力    想象是思维活动中最具活力的一个方面,培养学生的创造性思维首先要培养学生的想象力,培
近年来,纳米晶体量子点(Nanocrystal quantum dots,QDs)由于其独特的量子尺寸效应而引起了人们的广泛关注。在近红外波带,研究表明:PbSe量子点的发光效率在IV-VI族中最高,此外,其粒子尺寸远小于其玻尔半径(46 nm),量子限域效应明显,团聚很难发生。因此,PbSe量子点得到了人们的更多关注。本文在实验上首次实现了基于钠铝硼硅酸盐玻璃的近红外PbSe量子点光纤放大器(Q
我国著名教育家陶行知先生也说过:“好的先生不是教书,不是教学生,乃是教学生学。”作为小学语文教师,不仅要让学生学到语文基础知识掌握语文基本技能,更重要是要教会学生怎样学习,掌握打开知识宝库的钥匙,能够自己去获取知识。俗话说的好“师傅领进门,修行在个人。”“教”是为了“不教”,如何让学生主动自学,培养他们的自学能力就显得尤为重要。为了开发学生的智力,充分调动其学习的积极性,发挥其在学习中的主体作用,
基层是一切工作的落脚点,社会治理的重心必须落实到城乡、社区。$$——习近平$$翻开乡土中国的厚重历史,既有农耕文明的辉煌、乡村社会的荣耀,也有礼治秩序的腾挪、乡村治理的变
期刊