基于生成对抗网络的迁移学习算法研究

来源 :电子科技大学 | 被引量 : 21次 | 上传用户:yjn511
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着机器学习特别是深度学习算法如卷积神经网络(CNN)的发展,处理各种机器学习任务的能力已经大大提高。然而,这些算法取得良好的性能的前提通常是需要大量可用的标注数据。标注大量数据的成本极其昂贵,甚至是不可行的。标注数据的昂贵成本促使我们建立有效的算法在少量或者没有标注数据的情况下能够有效执行,通常利用来自不同但相关的辅助领域的丰富标签数据对目标域的数据进行知识的复用与迁移,进而达到迁移学习的目的。本文针对标注数据不足的问题,利用生成对抗网络中的对抗方法对齐两个领域的分布,解决了在目标域没有标注数据的情况下,利用辅助域大量的标注数据提高目标域的分类任务的性能。在生成对抗网络的基础上,提出了两种对抗迁移学习算法,两个算法总结如下:(1)提出一种基于残差的对抗迁移学习算法(RAN),该算法通过对抗方法对齐两个域的特征并支持分类器自适应,使产生的特征更加具有区分性。首先通过神经网络抽取数据的深层特征,利用对抗方法对两个域的特征进行匹配,之后两个域的特征经过分类器,并用残差模块对两个域的分类器建立关联,实现端到端的特征迁移和分类器自适应,从而使生成的特征更有区分性。实验表明,该方法能够使两个分布更加接近,该方法与传统的对抗学习方法相比较,在分类准确率上能够取得更好的效果。(2)提出了一种基于特征和标签的联合分布对抗迁移学习算法(FLAN)。该模型的判别器同时考虑了特征信息和标签信息,生成特征不仅具有领域不变性而且更加具有类间区分性。该方法首先通过神经网络抽取数据的深层特征,之后目标域的分类器在最小熵约束下生成目标域的伪标签,两个域的特征信息和标签信息经过融合之后利用对抗学习匹配两个域的联合分布,从而能够保证判别器回传给生成器的梯度包含了类别信息,使生成器学习出的特征更加具有区分性,能够提高分类的准确率。实验表明,该方法能够使两个域的分布更加接近,在一些标准的无监督迁移学习训练集上超过了当前表现最好的算法。
其他文献
为了比较分析电生功能水(electrolyzed functional water,EFW)对蔬菜质构及营养品质的影响,以甘蓝、西兰花、彩椒为研究对象,测定了不同清洗时间下3种蔬菜的质构特性和维生素
丁酸梭菌(Clostridium butyricum)是一种典型的厌氧梭状芽孢益生菌,稳定性好、适应能力强、安全性好,市场潜力非常巨大,广泛应用于医药、饲料等工业,但目前在食品生产及食品
采用喷雾干燥法,以黑枸杞花青素为芯材,以糯米淀粉(rice starch,RS)、改性糯米淀粉(modified rice starch,MRS)、改性淀粉复合麦芽糊精(modified rice starch-maltodextrin,M
The compound 2-(4-chlorophenyl)-1,4,5-triphenyl-1H-imidazole(1,C27H19ClN2) has been synthesized and its crystal structure was determined by single-crystal X-ray
采用乙醇浸提法从粗梗稠李中提取花色苷类色素,并对其理化性质和稳定性进行综合性评价。通过单因素正交试验确定了粗梗稠李花色苷的最佳提取工艺为:乙醇体积分数为60%,提取温
Aromatic hydrocarbons,one of the persistent organic pollutants(POPs),has been usually found in mussels,accumulated for their hard mobility and activities in har
一个集团企业,它应该具有四个基本特征:第一是资本的控制系统;第二是目标的统一性;第三是资源聚合性,集团企业所有资源应该做到共享;第四就是企业运作的协调性。只有具备这样的能力
2007年是中国航空工业第一集团公司(以下简称“中国一航”)成立的第八年.也是我国航空工业创建56周年。中国一航取得了历史上科研生产经营收入的最佳成就,这其中一航的财务管理人
期刊