基于感受野集成的卷积神经网络训练方法研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:aaajane
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
平移变换是一种在卷积神经网络训练过程当中广泛使用的数据增强方法。本文用数学方法分析了平移变换的物理含义,发现了平移变换的方法会使卷积神经网络在训练过程当中关注于训练图片中心区域的特征,从而使得卷积神经网络的感受野变得不均匀。如果用厚度表示感受野各区域被关注的程度,则平移变换使卷积神经网络在训练过程当中的感受野呈现出中间高、四周低的“金字塔”型分布。人类的视网膜的感受野各区域的分辨率是不相同的:中心的中央黄斑区提供了整个视网膜最高的分辨率,而其它区域的分辨率显著地低于中央黄斑区。本文对普遍意义上的图像各区域所包含的特征的关键性进行了分析,并提出了如下假设:相比于边缘区域,图像的中心区域更有可能包含关键性的特征。本文通过较为完备的实验验证了这个假设。以这个假设为基础,通过运用平移变换的方法,本文设计了一种新的针对卷积神经网络图像分类器的感受野集成训练方法。这种训练方法将整个训练过程划分为若干阶段,每个阶段对应于不同的感受野和学习率。具体地说,在训练的开始阶段,卷积神经网络关注于图像最中心区域的特征,此时学习率最高;随着训练的进行,卷积神经网络关注的区域由中心向其它区域扩散,此时学习率逐渐降低。本文用这样的方法使得卷积神经网络在训练过程中既关注图像中心区域的特征,又照顾到边缘区域的特征。由于这种方法在训练过程中按时间顺序集成了多个感受野,因此本文将其称为感受野的集成。本文使用两种不同类型的深度卷积神经网络、在两种不同的图像分类基准数据集上进行了实验,结果表明:在训练中的迭代次数相同的前提下,感受野集成的训练方法产生了比单一感受野的训练方法更高的测试正确率。与近年来一般的深度学习图像分类器的改进不同的是,本文提出的方法从原理到具体的步骤都是可解释的。这不仅为卷积神经网络提供了一种新的训练方法,还有可能为可解释神经网络的研究提供一些启示。
其他文献
软件过程事件流数据(软件开发过程日志数据)因为其多平台性、异构性和单实例性等特殊性质不能直接用来进行软件过程的过程挖掘,并且现在已有的用于业务过程挖掘的算法不能直接使用软件过程事件流原始数据来进行软件过程挖掘[1,2],人们在进行软件过程挖掘前对软件过程数据的处理往往是根据需要自行进行处理,没有一个统一的格式和内容,因此造成软件过程挖掘结果质量较低,可用性不强等问题。因此本文对软件过程事件流进行建
在学生的英语学习过程中,学生在使用目标语言时不可避免地会犯各种错误。近几年来,口头纠错反馈一直是学术研究的焦点,它不仅为师生互动提供了机会,同时促使语言学习者会反思
《一个镇的保健品销售路》通过深度报道的形式,将四川省G市石河镇近千人走上卖保健品路的现象呈现给读者。作品通过镇上卖保健品人物的个人经历,他们为何入行为主线,深入挖掘入行背后的经济和社会原因。作品将个人的入行情感和想赚快钱的心理、小地方的血缘地缘影响、当地的经济情况等背后深层次的原因融合,深入报道群体性入行卖保健品背后的社会原因。作品阐述《浅析深度报道的叙事》以小论文的形式,结合《一个镇的保健品销售
神经网络是模拟大脑行为机制进行信息处理的数学模型,因其高度非线性特征和电路可实现性被广泛用于模式识别、组合优化、联想记忆等实际问题中。作为神经网络模型应用的前提,其动力学性质被广泛研究,包括无源性、稳定性等内在动态特性。无源性起源于电气网络理论和物理学的分支,其本质特征上是保持系统内部的稳定性,目前在电路系统、物理学、力学以及应用数学等领域有着广泛的应用。本文主要研究神经网络的无源性问题,分析了时
随着汽车保有量大幅提高,交通事故越来越频发,严重威胁人民财产和生命安全。绝大部分交通事故由异常驾驶行为导致。为了减少交通事故发生,安全辅助驾驶系统研究具有重大应该
叶面积指数(Leaf Area Index,LAI)是评价植物生长发育和健康状况的重要指标。快速、准确地获取植被叶面积指数是评估荒漠化区域植被生长状况和固碳能力的重要前提。荒漠化区
随着互联网的快速发展,无纸化、信息化办公逐渐成为主流,各行业对软件系统的开发需求非常旺盛,使得软件开发行业快速发展。但在业务快速增长和变化的过程中,应用开发领域产生
教育部最新版的《大学英语教学指南》(征求意见稿)中把专门用途英语作为大学英语教学的三大主要内容之一,首次针对其内涵、特点、级别、教学安排进行说明。专门用途英语课程
同伴反馈是一项重要的学习活动,学习者以小组为单位合作对彼此的作文反馈、提出改进建议。该方法是形成性评估方法中的一项分支,应用于外语教学,尤其是在高等教育范围。前人
如今,随着汽车的普及,其成为人们日常生活工作中一部分,同时也带来了严重环境问题,电动汽车应运而生。其将逐渐成为汽车产业的主导力量,并成为社会发展过程中不可或缺的力量