基于卷积神经网络的增量学习研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:CT19850329
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分类是深度学习领域最热门的研究方向之一。当数据量不断增长,数据新类别不断出现时,传统的图像分类算法面临着新的挑战。虽然基于神经网络的分类算法相较于传统算法在准确率上有了很大提升,但是在增量学习新类别时,网络的整体表现会急剧下降。针对上述问题,本文从扩增增量训练集和提高网络增量学习能力的角度分别进行了研究,提出了基于优选保留集的增量学习算法和树状增量学习网络:1.基于优选保留集的增量学习算法。针对卷积神经网络在增量学习中分类精度损失严重的问题,一种有效的方法是使用新样本和旧样本的保留集联合训练。通过在保留集上的重新训练,实现旧知识的复习。为了使保留集样本最大化表征旧样本集,保留集由三部分组成:使用SVMT结构,获得不同类别样本决策边界的样本;选取最接近类心的样本;使用K-means算法将当前类别样本聚类,选择簇心的样本。通过在保留集上的训练,使模型保留旧类别信息;通过在新类别上的训练,实现模型对新类别的学习。在CIFAR-100和ILSVRC2012数据集上的实验结果表明,算法能够有效缓解增量学习过程中的分类精度损失,有效提高增量学习的分类准确率。2.树状增量学习网络。在增量学习时,新类别样本会使网络参数发生改变,降低网络对旧类别的分类能力。针对固定结构的神经网络在增量学习中,对旧类别样本分类精度损失严重的问题,本文提出了一种动态结构的增量网络模型。当网络进行增量学习时,在一部分底层网络之上添加由少量卷积层组成的网络分支,同时固定旧网络分支的参数,以保存旧类别的分类信息。通过计算旧网络分支上的蒸馏损失,实现知识从旧模型向新模型迁移;通过计算在新分支上的分类损失,实现模型对新类别的学习;通过多分支特征融合,判决,实现模型分类过程。最后通过数据均衡和模型微调提高算法分类准确度。本文提出的增量网络可以实现端到端的训练方式,易于实现增量学习。在CIFAR-100和ILSVRC2012数据集上的实验结果表明,该算法提出的网络模型是一种有效的增量学习网络;该算法可以有效提高卷积神经网络在增量学习中的分类能力,有效缓解增量学习中的分类精度损失。
其他文献
随着计算机软件与硬件技术的进步,其不断增强的功能伴随着勘探技术的发展,使得近年来石油勘探行业的高精度、高密度、多波数据采集和使用万道采集设备的数据采集方式成为可能。这些技术的应用极大的提高了采集到的地震数据的数据量,其数据规模由二十年前的M级,到十年前的G级,发展到如今的上百T甚至P级。由于如此庞大的数据量,使得石油勘探行业在进行采集、转储、处理和解释时都面临着巨大的挑战。在常规地震资料处理流程中
全球邮轮市场一直保持稳健增长,邮轮产业的经济价值也在日益凸显,然而我国邮轮产业近两年增速乏力,且近年来随着我国邮轮逐步涉足邮轮修造环节,产业链逐步完善,但是本土邮轮公司发展十分缓慢,产业活动基本上还是处于下游的邮轮接待环节,价值活动较为集中,价值链条尚待优化。而鉴于业财融合在企业全面价值管理上具有深远作用,文章引入业财融合,进行我国邮轮产业价值链的优化。文章从邮轮产业中单个企业内部价值链的优化和产
土地是人类生产与生活的基础,土地资源总量有限。土地节约利用是缓解经济发展与土地资源稀缺的根本途径。2005年第十五个全国“土地日”将主题定为“节约集约用地促进科学发展”,首次提出节约集约用地的口号。2008年,国家颁布《国务院关于促进节约集约用地的通知》;2014年,原国土资源部发布了《节约集约利用土地规定》,并出台了《关于推进土地节约集约利用的指导意见》。但长期以来,我国对土地集约利用重视程度较
随着计算机视觉技术的不断发展,目标检测技术逐渐在安防、自动驾驶、无人机控制等领域得到了越来越广泛的应用。作为一项结合了目标定位和目标分类的综合性技术,目标检测算法的检测能力在环境简单、目标尺度适中的场景下已经逼近了人类的水平;然而,想要进一步提升目标检测技术的实际应用价值,需要更加关注其在复杂环境下、目标数量过多及小目标较多的场景中的表现。目前的目标检测技术在环境比较复杂或检测目标表现多样(如剧烈
随着全球化的不断加深以及互联网技术的不断发展,跨境电商作为一种新兴的网购模式正被越来越多的消费者所熟知。相较传统电商,跨境电商存在支付难、物流难、维权难等问题,同时交易双方可能拥有不同的文化背景,跨境电商中存在的风险与文化差异将影响跨境电商交易中的消费者行为。因此,本文在国内外学者的相关研究基础上,探究跨境电商交易中感知风险对消费者行为的影响,以及文化认同在其中的调节作用。本文构建了跨境电商交易中
橄榄石型结构的磷酸铁锂(LiFePO_4)因具有放电电压高、循环寿命长、安全性好和成本低廉等优点被认为是锂离子电池中很有潜力的正极材料。但是磷酸铁锂由于其锂离子扩散速率低和电子导电率低的缺点导致其在大电流充放电时性能下降,限制了其作为动力电池的实际应用。离子掺杂可以使磷酸铁锂内部产生晶格畸变,从而改善磷酸铁锂自身的导电性;表面包覆可以改善材料的导电性,同时还能防止Fe2+的氧化。本论文合成了锰、镍
在经济全球化的下行背景下,混合所有制改革已是国企改革必经之路。由于我国国内市场的经济增长速度越来越缓慢,国有企业对于社会主义市场经济的发展很重要,因此务必要担负经济又好又快发展的重任。政府虽然多次鼓励国有企业实行混合所有制改革,但对房地产行业,政府始终持有谨慎态度。本文所研究的经营绩效主要包括财务绩效、市场短期绩效、以非财务指标为基础的绩效对比分析,以此研究A集团实行混改带来的变化。首先,介绍了研
服务供应链是以物流技术、信息技术等现代科学技术为基础,以满足客户需求为出发点,将与服务相关的各方有机组织起来形成的服务网络。随着科技的迅速发展,第三产业的发展速度也迅速飙升,服务供应链也成为企业关注的重点。服务供应链大体分为三类,分别为物业服务供应链、旅游服务供应链和物流服务供应链。其中,物流服务供应链是现今服务供应链的重要分支和研究热点。而在物流服务供应链任务分配中,为了提高提供商的服务效率,提
太赫兹波一般是指频率在0.1-10THz范围内的电磁波,由于其具有非常低的光子能量,很强的穿透性和明显的特征吸收峰,使得太赫兹技术在材料检测、安全检查、军事和无线通信方面展现了重要的研究价值和广阔的应用前景。然而,自然界中的传统材料难以对太赫兹波产生强的电磁响应,导致太赫兹器件相对匮乏,阻碍了太赫兹技术的发展及其实用化进程。近年来迅速发展的超材料不仅可以灵活地调控电磁波,还能够对太赫兹波产生强烈的
民法典解决了长期以来农村集体经济组织法人地位缺失的问题,明确其为特别法人,但并未对其市场退出机制做出规定,学术界也未形成较为统一的意见,而且既有研究较为零散,缺乏系统性。对此,本文对既有学术观点和实务经验进行了充分总结,系统阐述了国内外农业经济类似法人破产的制度实践,其中既包括与我国大陆地区同属东亚文化圈的日本、台湾地区和大陆法系的德国,也包括部分英美法系国家制度,还包括国内农民专业合作社和乡村集