神经网络中典型正则化方法的比较与改进

来源 :沈阳航空航天大学 | 被引量 : 0次 | 上传用户:bobshen88888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着人工智能技术的不断发展,神经网络成为了其中很重要的一个研究方向。在神经网络发展的进程中,网络层数和参数规模都以极快的速度增长。虽然它们的增长能够在一定程度上提高整体网络模型整体性能,但是也导致模型的训练变得困难了许多。在神经网络的整个学习阶段中,因为神经网络结构越来越复杂,参数越来越多,过拟合现象时常会发生。为了解决这一问题。需要对网络使用正则化方法,并对各类网络模型进行实验,寻找合适的正则化方法。本文的主要研究内容如下:第一:分别对不同的网络模型使用各种正则化方法,对实验结果进行对比,从而找出各个网络模型最适用的正则化方法。对各个结果进行分析,总结实验结果进行分析,从中找出对实验产生影响的因素,从而找出对网络起到优化作用的因素。第二:为了能够全面且更加高效加快卷积神经网络的收敛速度和提升正确率,本文提出了三种新的方法来完成这一目标。这三种方法通过在神经网络的不同位置对神经网络进行优化,从而解决过拟合的问题。通过对各种网络模型分别进行实验,实验结果表明这三种方法与其他方法相比,具有较高的正确率,模型分类能力得到有效改善,可以有效抑制网络过拟合问题。同时通过对多种网络模型的实验得出哪种正则化方法是最有效果的,以及各种正则化方法所适用的最佳场景。
其他文献
随着科学技术的不断发展,无人机应用领域越来越广泛。飞控系统作为无人机的核心系统之一,对其进行充分而有效的测试是非常重要的。由于飞控系统的逻辑复杂、实时性强等特性,在测试过程中,其测试用例或测试脚本的编写仍采用手工方式居多。因而,本文研究的飞控系统测试用例自动生成方法是十分有意义的。本文在研究了一些现有的自动化测试技术和测试用例的生成方法的基础上,选用了基于UML状态图的方法生成飞控系统的测试用例。
学位
随着全球定位系统在移动智能终端中的普及,各类基于位置服务的应用的数量呈爆发式的增长。面向社交推荐和用户细分服务的空间文本相似连接技术在移动互联网和移动社交媒体等领域中得到了广泛的应用。为了减少数据存储和处理的成本,越来越多的数据拥有者选择利用云计算平台来对数据进行存储和处理,然而,把直接用于空间文本相似连接的数据上传到云服务器可能会带来严重的隐私保护问题。针对这个问题,本文对空间文本相似连接技术在
学位
内蒙古乌兰察布地区有着丰富的历史文化,生活在这里的草原先民在漫长的历史长河中,创造出了不朽的艺术——乌兰察布岩画。岩画是人类最早的艺术形式,在文字还未出现以前,人们靠岩画来记录事件、传递信息或者表达某种情感。乌兰察布岩画是内蒙古地区岩画中草原岩画类型的代表,是我国北方古代游牧民族的文化遗存,在我国岩画宝库中占有极其重要的地位。这些岩画记录了我国北方草原游牧民族的社会生活、狩猎生产以及原始宗教信仰和
学位
目前数据安全领域关注数据全生命周期安全,除安全存储、安全传输外,还关注数据处理过程中的隐私保护问题。传统的加密方式虽然可以保证大量数据在云端的安全存储,但是对保证云端数据处理过程中的安全缺乏有效的解决方案。同态加密技术借助于其密文状态下的计算结果解密后与明文状态下执行相同操作计算结果相同的特点,被期望应用于云计算过程中以提高在云端进行数据处理过程中的安全性和保密性。同态加密可以保证对密文数据进行处
学位
近年来,深度卷积神经网络已广泛应用于图像处理领域并且取得惊人的成就,采用深度学习方法对遥感图像进行特征提取与分类已经成为目前研究方法的主要趋势。但通过人工设计的神经网络已经不能满足于实际需求,借助神经网络结构搜索技术搜索遥感图像分类的神经网络结构逐渐成为新的研究方向。本文针对面向遥感图像分类的神经网络结构搜索算法进行了研究,主要研究内容如下。第一,基于EfficientNet网络模型在ImageN
学位
伴随着中国现代经济、文化和科技的实力快速增长,人们对物质生活水平的要求也逐步提高,科技的快速发展使交通发展变的便利,人们可支配收入不断增加,使得中国旅游业的发展也正处于发展的黄金时期。中国旅游业在改革开放40年来,一直在不断蓬勃发展,旅游也成为我国居民休闲娱乐度假的首选。我国居民对旅游的消费热情不断增加,从而中国的大众旅游时代的来临,使得旅游的功能日渐丰富起来,旅游的供给体系也在不断的完善,在发展
学位
量子神经网络(Quantum Neural Network,QNN)是一个结合传统人工神经网络(Artificial Neural Network,ANN)与量子信息和量子计算两者优势的研究领域。QNN对于弥补当前ANN的不足,以及从本质上改善神经网络的性能具有重要的理论意义。本文以ANN模型为基础,通过与量子并行计算、量子门线路以及变分量子线路等量子理论与量子力学概念相结合提出了三种QNN模型,
学位
由于同时拥有几百个连续的光谱波段信息与较为丰富的空间信息,高光谱图像成为一种较为特殊的图像。然而,高维且连续的光谱波段带来的冗余信息和邻域空间中存在的干扰像元都会影响分类精度。此外,标记样本不足使深度网络无法很好的训练,限制了高光谱图像分类的发展。本文针对高光谱图像分类所面临的以上难题进行探索,主要工作及内容如下:(1)面对光谱冗余信息和邻域空间干扰像元对分类性能的影响,提出一种多注意力和多层级深
学位
随着大型视频监控网络的建立,数据量爆发式增多,利用人工识别并在大型摄像机网络中连续跟踪可疑目标越来越困难,因此智能视频监控技术领域的研究越来越受到人们的关注,其中的行人跟踪技术近年不断被人们研究。本文主要研究一种非重叠视域多摄像机场景的行人跟踪算法,将其分为单摄像机中的行人跟踪和跨摄像机的行人目标交接问题分别提出算法,整理出一种多摄像机行人跟踪方法。首先,在单摄像机中跟踪与跨摄像机目标交接中,均以
学位
宫人,作为古代宫掖的特殊的人群,生前作为“良人”入选服务宫廷,死后却一方“程式”的墓志草草了终。墓志本来作为反映一个人一生的生平事迹,在风格上和内容上自然是端庄完整的,可悲的是在西安碑林所藏的隋唐宫人墓志中却是相反的,内容形制上皆是不完善的且书法风格上率意夸张,这是一种主流意识形态下的反叛,也是体现民间书法集中体现。本文通过对西安碑林博物馆藏77余方隋唐时期的宫人墓志进行归纳梳理,分四章分别对馆藏
学位