基于相似度的BP神经网络迁移学习算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:alpaalpa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的机器学习算法不仅要求有大量的带标签训练数据,还要求训练数据和测试数据满足同分布。但是在实际应用中,常常缺乏与测试数据同分布的带标签的训练数据,因此如何运用其他领域中不同分布的带标签的训练数据,辅助目标任务的完成是亟需解决的问题。迁移学习是解决这一问题的一种有效方法。而在大多数迁移学习中都要求源领域与目标领域之间存在一定的相似度,在迁移学习框架中利用相似度学习可以提高迁移的效果。BP神经网络算法是一种应用比较广泛的机器学习算法,其在带标签样本数据少的领域中分类准确率较低。针对上述问题,本文研究了基于相似度的BP神经网络迁移学习算法,其主要的研究工作如下:(1)提出了基于相似度的BP神经网络单源迁移学习算法(TL-BP)。该算法首先得到了源领域的最优权重参数并得到了源领域与目标领域之间的最优相似度;然后结合该相似度把源领域的最优权重参数信息迁移到目标领域中;最后构建了适用目标领域的BP神经网络模型。以BP神经网络算法以及TrAdaBoost算法作为对比算法,使用Letterrecognition数据集、Wine Quality数据集以及20Newsgroups数据集对算法进行了实证分析。实验结果表明,在大部分实验组合下,该算法的平均分类准确率和分类时间都有明显的优势,但是在个别实验组合中出现了“负迁移”问题。(2)针对TL-BP算法中出现的“负迁移”问题,提出了基于相似度的BP神经网络多源迁移学习算法(MTL-BP)。该算法是在TL-BP算法的基础上增加了源领域的个数,把各个源领域的最优权重参数信息结合对应的最优相似度迁移到目标领域中。为了验证算法的有效性,在Letter-recognition数据集以及20Newsgroups数据集上进行实验。最终实验结果表明,与MultiSourceTrAdaBoost算法相比,该算法无论是在分类时间上还是平均分类准确率上都有明显的优势;与TL-BP算法以及BP算法相比,该算法在分类时间接近的前提下有更高的平均分类准确率。综上表明了该算法的有效性以及避免了“负迁移”问题。
其他文献
中文的全球化普及己经成为了一种必然趋势。掌握汉语词汇是学好汉语的关键因素之一。然而,市场上的词汇学习软件目前存在着许多缺点,例如学习内容与学习环境脱轨,这使得词汇含义抽象导致低效学习。为解决这一问题,提髙学习效率,本文采用基于深度学习的场景理解算法,从学习环境中自动生成汉语词汇学习列表,设计了一种新型汉语词汇学习软件。该算法首先检测并识别由摄像机捕获的场景图像中的对象,并生成包含候选汉字的词汇表,
混沌反控制又称为混沌化,是指通过某种方法在原本没有混沌行为的系统中创造人们需要的、全新的混沌。近年来,人们发现将混沌行为注入到机械臂中,可促进其在工业、农业与家用
电涡流位移传感器是根据动态变化的磁场中金属导体的涡流效应制作而成,该传感器的架构简明,制作成本低,对位移的敏感度较强,抗油污干扰能力高,不会损伤测量表面。因此电涡流位移传感器被广泛应用在航空航天,仿生环境等高精度要求的特殊领域。电涡流位移传感器实际应用场景较为复杂,诸多恶劣环境因素对其测量精度和稳定性提出了很高的要求。其中,周围温度在一定范围内的波动是影响电涡流位移传感器精度的主要因素,导致其附加
迭代学习控制(Iterative Learning Control,简称ILC)适用于重复运动的系统,它控制简单、运算量小、能对期望轨迹完全跟踪。因此被广泛的应用于非线性、强耦合、难建模的系统
何塞·卡洛斯·马里亚特吉是秘鲁共产党的创始人,也是拉美共产党人中公认的、有较大影响的理论家,被研究者称为“拉美马克思主义之父”。他吸收马克思列宁主义中的“合理成分
随着人工智能的发展,自主智能设备将是未来应用领域的重要产品,其中的重要能力之一是能够自主优化地把有限的资源分配给既定的任务,以取得最大的工作效果。针对一些自主智能产品小型化、难以携带常规计算机的特点,本文研究微控制器硬件环境下静态资源任务分配问题的求解算法本文针对广告投放问题与工程应用中的两类需求,分别建立了两类静态资源任务分配问题模型。通过微控制器性能与应用领域的调研,采用一款主流微控制器作为算
本研究的目的是考察摩洛哥实际汇率对经济增长的影响。本文使用1980-2017年期间的年度时间序列数据,从摩洛哥储备银行获得实际汇率、通货膨胀、实际利率和实际国内生产总值数据,从摩洛哥工业和贸易部获得贸易开放条件数据,并从国际货币基金组织获得人力资本数据。本文以代表经济增长的GDP为因变量,以实际汇率为主要解释变量,并控制通货膨胀、实际利率、人类发展指数和开放贸易条件等指标,利用最小二乘法对所研究的
目的:探讨在术中使用常规剂量右美托咪定(DEX)联合布托啡诺术后镇痛(静脉自控镇痛,PCIA)的方案针对行二次腹壁竖切口的剖宫产(CD)产妇的临床效果,为麻醉医生合理、有效的围术
存储墙问题是指处理器计算速度与访存速度不匹配的问题,渗透延迟容忍机制是近年来解决该问题的新思路。虽然目前的仿真实验已经初步证明了该机制的有效性,但是在现有的研究中还存在以下问题:一方面对渗透数据与片上缓存之间的关系认识不够全面;另一方面缺少维护渗透数据实时及时局部性的方法。这些问题导致渗透延迟容忍机制没有发挥出最大的作用。针对该问题,本文分析了渗透数据与渗透缓存之间的关系,研究了渗透数据在缓存中的
猪繁殖与呼吸综合征(Porcine reproductive and respiratory syndrome,PRRS)是由PRRS病毒(PRRSV)引起的一种严重危害养猪业的重要病毒性传染病,自上世纪80年代末在美国发现以来,