面向卷积神经网络的结构优化与鲁棒性提升研究

被引量 : 0次 | 上传用户:mqj0712
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为计算机视觉领域的关键支撑技术,卷积神经网络(Convolutional neural networks,CNNs)持续取得创新与突破。网络结构对CNN的性能至关重要,因此研究者们不断提出新的网络结构以提升其性能,在许多公开数据集上的测试精度也被不断刷新并逐渐接近饱和。此外,鲁棒性作为评估模型可靠性和稳定性的关键指标,在CNN的实际应用中具有重要意义,因此CNN的鲁棒性问题也在学术界和工业界引起广泛关注。本文主要对CNN的网络结构进行优化和改进,以提高模型的泛化性与鲁棒性,涉及的具体研究内容列举如下:(1)以随机图模型为基础,将深度优先遍历算法与网络的构建相结合,探索了一种新的网络构建模式。基于该模式,提出了深度优先神经网络(Depth-first neural network,DFNN)。具体而言,首先使用随机图模型生成随机图,在随机图上进行深度优先遍历。遍历过程中经过的边与节点构成DFNN的主干,其余的边作为跨层连接用于传递历史特征。随机图中的节点执行具体的卷积操作。由此,随机图被转换为CNN中的阶段(stage),多个阶段相互连接即构成了DFNN。此网络结构保留了随机图模型的特征,构建过程避免了人为设计网络的繁杂过程,跨层连接上的可训练权重也可以使模型自适应不同的图像分类任务。在CIFAR,SVHN数据集上的分类任务中,相较于一些经典的CNN模型,DFNN取得了更高的测试准确率。此外,在含有噪声的数据集上的实验结果表明DFNN相较于以层次结构设计的网络有更好的鲁棒性。(2)锐度感知最小化(Sharpness-aware minimization,SAM)优化器通过寻找平坦极值,在提升模型泛化性方面取得了显著成效。本文尝试将SAM优化器在反向传播中对参数的优化过程引用至前向传播当中,提出了一种新的CNN模型,称之为SAMNet。通过数学证明以及数值仿真实验,证明了相较于残差网络(Residual network,ResNet),SAMNet的鲁棒性更优。在CIFAR与SVHN数据集上,分别采用为测试集添加噪声与对抗训练的方式对SAMNet的性能进行评估。实验数据表明,在模型参数量相近的情况下,SAMNet有更好的鲁棒性。(3)随机梯度下降(Stochastic gradient descent,SGD)算法在训练过程中通过逐渐减小学习率,使模型在训练后期更加平稳地收敛。本文受随机梯度下降算法中学习率衰减策略的启发,提出了步长动态调整策略。并基于ResNet的显式欧拉诠释,将步长动态调整策略应用至对ResNet的优化。本文理论证明了小的步长对提升ResNet鲁棒性有积极影响,并采用基于不同学习率衰减策略的步长动态调整策略,对ResNet中的步长进行优化。实验结果表明,步长动态调整策略显著提升了ResNet的泛化性、鲁棒性以及训练鲁棒性。
其他文献
随着人工智能技术席卷各行各业,赋予了计算机自主学习的能力,建筑行业在设计方面迎来新的可能。既有以深度学习技术为依托的建筑生成设计研究集中在住区、青年公寓、学校等布局相对简单、体量形态单一的空间类型,简化了传统生成设计的程序编写流程,展现了可圈可点的前沿探索精神。但面向商业服务类建筑群等其他公共建筑群的设计任务,由于其形态复杂性和样本数量有限性,仍是有待人工智能技术发挥优势的专业领域。同时,建筑学语
学位
信息技术和智能控制技术的发展推动着智能制造水平的不断提升。其中,智能制造中的传感技术,包括目标检测、快速定位、精密测量等均起着重要的作用并在加工制造的各环节中得到了广泛应用。本文以机器人智能分拣与测量系统为研究对象,将深度学习技术与识别定位需求相结合,增强机器人智能分拣能力。同时,构建综合的机器人分拣与结构光测量系统,完成目标物的快速智能识别与三维参数检测分拣。本文主要内容包括:首先,为提升分拣智
学位
煤与瓦斯突出(以下简称瓦斯突出)是煤矿最为严重的灾害之一,严重威胁着我国煤矿安全生产和能源保障。贵州地区煤层赋存条件复杂,构造多变,瓦斯突出灾害频繁,在构造等地质异常区及应力集中区尤为突出。随着矿井采深的逐步增加,瓦斯突出灾害危险日趋严重复杂,研究瓦斯突出实时监测技术并提高预警准确率,符合国家要求且迫在眉睫。但现有技术手段难以反演瓦斯突出及危险区的演化过程,在突出实时监测、危险区域定位分析、有效预
学位
微波光子学融合了光子技术与微波技术,兼具光子技术大带宽、可复用、低传输损耗、抗电磁干扰和微波技术灵活、易于重构的优势。采用微波光子技术可解决传统微波技术所面临的带宽、速率瓶颈等问题。微波光子学发展至今,主要的研究方向包括基于光子技术的微波信号产生、处理、传输以及控制等,以期推动雷达、电子战以及通信等电子信息系统的技术演进和性能提升。针对微波光子学领域的研究现状和问题,本文围绕微波光子信号产生和光载
学位
可重构智能表面(Reconfigurable Intelligent Surface,RIS)是一种新型的人工电磁表面,它可以通过灵活地调控其表面单元的反射系数实现对电磁环境的高精度重构,有望为未来的移动通信架构提供新的设计自由度,并成为提升通信速率、增强通信覆盖、降低系统能耗的关键解决方案。基于以上背景,本文从RIS的调控机理出发,对RIS的设计及其在通信系统中的相位优化展开了研究。1.针对RI
学位
互联网使人们的工作和生活变得更加高效和便利,但个人信息泄露所引发的网络隐私安全问题也愈发严重。从用户主体视角来看,要想有效保护个人在线信息,有必要具备一定的隐私保护能力,并采取积极的隐私保护行为。由网络素养差异引发的数字鸿沟影响着人们对网络的接入和使用,形成了用户在网络信息控制能力上的差异,这种差异决定了用户会在不同程度上采取隐私保护行为。本文通过拓展运用网络素养理论和多维发展理论,将“中国综合社
学位
本文对国际标准化组织,德、英等典型工业国家以及国内标准效益评价有关方法、标准和应用实践进行了分析研究,目前实际开展标准效益分析面临着评价方法不统一、指标体系欠合理性、与指标相关的数据采集困难较大、缺乏有效保障措施等问题和挑战,提出将标准经济效益评价与质量管理体系相结合,制定实用性强的标准经济效益评价指南等建议。
期刊
由于市场的供需情况在不断发生变化,行业内的竞争强度也不断增加,企业为了提高竞争能力,扩大自己的市场份额,推出了赊账的消费方式,借此刺激消费者进行消费。由于赊销所涉及的资金数量快速增加,企业所面临的风险也会相应增加。面对这一问题,企业需要协调好提高企业竞争力,和放款风险的关系,保证二者处于平衡的状态,避免出现大量债务回收不及时的问题,而导致企业的现金流出现断裂。因此企业要对应收账款做好管理工作,保证
学位
为了满足应用的低时延需求,移动边缘计算的算力资源需要尽可能靠近用户终端,因而呈现出地理空间上多点分散式部署的特点。然而,单个边缘云有限的资源使其无法独立应对所有的服务需求,这使得移动边缘计算系统需要通过跨边缘云的算力资源协同将用户端的算力需求与服务端的算力资源高效匹配,从而提高算力资源利用率,保障服务质量。在这个过程中,5G用户面功能(User Plane Function,UPF)作为执行计算请
学位
2,4二氯苯酚(2,4-DCP)被广泛应用在众多行业中,例如医药、农业、纺织、造纸等。但由于生产损失、意外泄漏、工业废水排放等原因,大量的2,4-DCP进入自然环境中。其理化性质十分稳定,具有生物富集性和难降解的特性,导致人类癌症、畸形和基因突变等严重健康问题,同时对自然生态环境也带来了严重威胁。常规的处理方法很难将2,4-DCP完全降解,因此研究如何高效降解2,4-DCP对保障居民供水安全和生态
学位