基于卷积神经网络的深度增量学习方法研究

来源 :天津财经大学 | 被引量 : 0次 | 上传用户:feihuaxp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络(Convolutional Neural Networks,CNN)模仿人类大脑视觉系统处理图片的方式,自动提取图像特征进行图像分类,在计算机视觉领域取得了巨大的成功。相比于基于数字图像处理与几何光学的传统计算机视觉方法,以及统计机器学习方法,往往具有更强大的特征学习和表示能力。但传统的卷积神经网络是针对的静态训练集进行训练的,数据一次获得并不会发生变化。在实际应用中,一次性获得所有训练数据是很困难的,并且数据集的特征分布可能会随着时间发生变化,甚至会出现新的类别。面对这种情况,传统的深度神经网络主要是通过参数微调的方式来适应新样本的特征变化,但是这种方法只能保留最后一次训练获得的分类知识,忘记曾经学习得到的分类知识,从而导致灾难性遗忘。但是当数据集状态发生变化时,重新训练深度网络模型,不仅会浪费大量的时间,而且需要很多内存资源。因此,将深度卷积神经网络与增量学习相结合是目前的一个研究热点。基于深度卷积神经网络的方法以及增量学习的理论,本文的主要贡献包括以下几个方面:1.提出了一种基于深度卷积神经网络的双分支迭代深度增量学习方法。该方法使用主网络存储已获得的分类知识,使用分支网络学习增量数据中的新类知识,以减轻增量学习过程中的灾难性遗忘。实验结果表明,相比于其他主要的增量学习方法,提出的方法在模型的分类性能和训练时间等指标上均具有较明显的优势。2.提出了基于密度峰值聚类的典型样本筛选方法。该方法使用密度峰值聚类的方法获取各类别中的中心样本和边缘样本组成典型样本集合,在双分支迭代深度增量学习方法训练过程中加入到训练样本中,有助于主分支网络增强对已学习知识的记忆。3.提出了一种基于增量支持向量机(Support Vector Machine,SVM)的保留集构建方法。该方法在上一章的基础上,结合了传统机器学习的思想,将传统的SVM调整成为增量SVM,作为双分支网络中的保留集提取算法。相较于之前的聚类算法来说,增量SVM可以更好的提取出已学习样本中的分类知识,减少冗余样本,保存更多有效的类别知识,提高方法的分类精度。
其他文献
我国《合同法》第94条规定了法定解除权行使的四种事由,一般认为,在不可抗力的情况下,合同双方均有单方可以以通知形式而致合同解除的权利,而在三种一方违约的情况下,守约方行使单方合同解除权亦为理论界和司法实务界广泛接受。至于违约方是否也享有解除合同的权利,虽然理论和司法实务上有赞同之声,但一般均持否定态度。在民法典制定中,有学者力主明确承认违约方的合同解除权,该主张为《民法典草案合同编》第二稿予以采纳
1、目的了解广东省跨省异地就医直接结算政策实施现状,对广东省跨省异地就医平台数据进行分析,研究分析跨省异地就医行为特征,评估跨省外来异地就医参保人员对广东省跨省异地就医直接结算政策的满意度,探讨政策存在的问题,并提出相关建议。2、方法本研究通过文献研究法、现况分析法、比较研究法、问卷调查法相结合的方法对广东省跨省异地就医直接结算政策的实施效果进行研究。统计方法采用了描述性统计分析、二分类logis
无线电导航设备广泛地应用于人们的日常生活以及经济、军事等各个方面。为了保证无线电导航机载设备的正常工作,需要在装机前对多种设备性能进行检测。现有的测试设备大多是
现如今,信息技术的快速发展将世界带入了崭新的信息化时代,同时,也极大地提高了生产力,促进了经济全球化进程。在过去的20多年中,我国企业发展迅速,在该进程中不断发展壮大,在经营规模上得到了很大的提升。但是,集团规模的扩大以及机构数量的增加也给集团的管理带来一系列迫切需要解决的问题。例如:岗位设置人浮于事、财务人力成本高、财务部门效率低下、业财分离以及流程繁琐等。因此,如何整合企业资源、加强集团管控、
互联网时代的快速发展,带来的既是机遇也是挑战。网络数据日益膨胀,海量信息不断聚集,有价值信息的获取变得不再简单。目前信息检索仍然是一个热门话题。搜索系统其实质可视为一个信息检索系统,其中网络爬虫作为搜索系统的重要成员,其主要工作是将网页数据从互联网上爬取下来并进行存储。但这种爬虫方式单一、低效,不能满足人们对数据的日益需求,所以分布式爬虫逐渐成为研究的热点。与此同时,在大数据时代下,将数据挖掘分析
随着我国加快向民航强国的迈进,西南地区航空事业的进一步飞速发展,飞行安全、航班正常、改革发展等各项工作对空管的要求越来越高,“运行高风险、工作高负荷、保障高压力”已经成为空管运行的新常态。职工在高强度工作和生活环境下心理抗压能力不足,工作生活压力大,工作生活容易失去平衡导致职业倦怠。本研究以西南空管局在职空中交通管制员为研究对象,对不同人口统计变量下空中交通管制员职业倦怠状况、心理资本状况、以及心
随着我国城镇化进程加速,城镇建设规模不断扩张,原有城镇土地已经无法满足经济社会发展的需要,因而各地政府对城镇周边区域的土地进行了大量的开发建设。在开发建设的过程中,必然涉及到农民土地征收问题,以及由此引发的诸如补偿标准不统一、利益补偿不合理等一系列问题,造成社会矛盾不断加剧。因此,如何公正、透明、合理地进行征地补偿,妥善协调征地利益主体的关系,成为亟需解决的现实难题。本文基于文献研究法和实证研究法
同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是机器人或其它智能载体实现自身位置姿态定位以及理解感知周围环境的关键技术,在智能移动机器人高速发展
习近平民生理念是对马克思主义的运用和发展,是对中国传统民本思想的扬弃以及对历届中央领导集体民生理念的继承与创新,总书记的实践和成长经历是他民生理念的活水源头。辩证唯物主义和历史唯物主义是习近平民生理念的核心哲学依据,是最直接的思想资源。遵循马克思主义唯物论的原则,坚持一切从中国的实际出发来促进民生建设,就要实事求是地面对我国民生建设所面临的各种挑战和困难,针对性的提出改善民生的具体举措。物质与意识
近年来,随着大数据和物联网技术的蓬勃发展,人类的生产、生活与互联网紧密地联系在一起。为了应对海量数字化信息带来的挑战,迫切需要具有高读写速度、高存储密度、低能量损耗等特点的非易失性存储器。基于锗锑碲相变材料的相变存储器可以满足这些要求,很可能成为未来主流的非易失性存储器。相变超晶格(GST-SL)作为一种新兴材料,具有非常优越的性能,比如极低的能量损耗、极低的电阻漂移、极低的噪声,是传统相变材料的