基于胶囊网络的多尺度图像分类研究

来源 :河北大学 | 被引量 : 0次 | 上传用户:zhuoluo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像是人们对视觉感知到的信息的再现,与声音和文字相比,它包含的信息量更大,传递方式更为直接,接收方式更为简单,正因如此,基于图像信息的识别与处理已成为当前人工智能发展的主流。目前,随着科技的进步与发展,海量的图像信息囊括了生活中大部分事物,图像的尺度多种多样,随之而来的分类问题逐渐增多。对于深度卷积网络的图像分类,由于全连接层的存在,在网络进行训练和测试时需要固定输入图像的尺寸。当遇到多尺度的图像时,需将图像利用裁剪和变形等手段转换成固定尺寸,但是,裁剪会导致图像信息的丢失,变形会导致位置信息的扭曲,从而破坏了原始图像所包含的详细信息。尽管基于池化层组的方法可以将可变大小的特征图转换为固定大小的特征图,解决了多尺度图像分类问题,但是由于池化操作会丢失信息,造成识别准确率显著降低。为此,本文开展了基于胶囊网络的多尺度图像分类问题的研究,主要工作如下:1.针对卷积神经网络在不改变卷积结构和参数时不能直接处理多尺度图像的问题,提出了使用共享转换矩阵路由(Shared Conversion Matrix Routing,SCMR)层作为通用网络层,以取代卷积神经网络的全连接层。在SCMR层中,采用RECOMBINATION方法,使其可以根据输入图像的规模动态地增加或减少胶囊的数量,以保证卷积层和SCMR层的正常运行。同时,通过共享SCMR层中的变换矩阵,建立新的动态路由算法,使SCMR层可以接收卷积多维特征图并生成固定维度的图像特征输出,实现多尺度图像分类。该算法使每个胶囊都有相应的权重,避免了特征丢失的问题。此外,通过增加胶囊向量的维度来创建新的胶囊向量,以解决反向传播中的梯度爆炸问题。2.针对SCMR层内存占用大和时间效率低的问题,提出了Rocket路由算法。在内存占用上,胶囊网络由于使用了大量的姿态变换矩阵从而导致网络模型运行时内存的急速上升。为此,Rocket算法中使用特定的卷积运算来代替算法中的矩阵运算,较好的减少了内存的占用。在时间效率上,SCMR算法通过迭代机制不断的更新上一层胶囊向量的所占权重,而网络运行消耗的时间却随着算法的迭代次数增加而增长,通过在Rocket算法中采用非线性函数来代替SCMR的迭代过程,进一步提高网络运行效率。3.在ImageNet2012子集、IIC(Intel Image Classification)以及ASL(American Sign Language)三个数据集上进行了实验验证。实验结果表明,在以不同的架构(Alex Net、ZFNet、VGG11)为基础模型框架上,加入SCMR层的模型在准确率上优于SPP以及Ro I系列(Ro I、Ro I-Align、GLGOD-Ro I、Couple-Ro I)的方法,分类精度提高了约0.5%-3%。另外,在ASL数据集上开展了Rocket算法与SCMR算法的对比实验。结果表明,在Alex Net基础框架上Rocket算法比SCMR算法整体运行内存减少了约60%且运行时间加快了约92%;在ZFNet模型架构上Rocket算法内存占用减少了约56%,时间加快了约91%;在VGG11模型架构上Rocket算法内存占用减少了约58%,时间加快了约91%。
其他文献
软件漏洞导致了许多系统攻击和数据泄露,软件安全问题逐渐引起关注,软件漏洞检测现已成为一个重要的研究方向。近年来,深度学习技术已应用于漏洞检测,基于深度学习的漏洞检测方法不需要手动定义特征,实现了低漏报和低误报。深度学习技术依赖于数据集,最近的研究发现,不同的漏洞数据集对基于深度学习的智能漏洞检测方法的效果有不同的影响。漏洞数据集的真实性、不平衡性和重复率会影响基于深度学习的智能漏洞检测方法的有效性
学位
近年来,随着大数据、人工智能、高速网络等技术的发展,入网的物联网设备数量迅猛增长。物联网设备在智能家居、智能电网、智慧城市等应用场景下为人们生活生产带来便利的同时,也给网络带来了潜在的威胁。为了保证物联网网络的安全,需要对物联网设备进行高效,准确的管理和识别。针对物联网设备进行管理时,时效性要求较高,这意味着在网关处进行设备识别和管理具有十分重要的意义。然而目前提出的物联网设备识别方案普遍开销较高
学位
模糊蕴涵是模糊集理论中一类主要的逻辑连接词,在模糊逻辑、近似推理、模糊控制、模糊专家系统、模糊神经网络、图像处理和数据挖掘中发挥着重要的作用。一方面,广泛的应用推动着模糊蕴涵理论的研究。另一方面,随着人工智能的发展,模糊蕴涵在不确定性知识表示与推理中发挥着不可或缺的作用。因此,在过去十几年中,关于模糊蕴涵的性质、刻画、构造方法与应用一直是模糊逻辑中的研究热点。本文主要围绕几类新型模糊蕴涵的性质、构
学位
随着各领域对目标检测任务的需求日益增多,目标检测模型面临的挑战也逐渐多样化。虽然无锚框目标检测模型当前性能突出,但在特征学习过程中存在锯齿问题,并且对多尺度目标处理的结果不够理想,因此,设计了一种抗锯齿无锚框目标检测模型;针对无锚框目标检测模型存在的参数量冗余、计算复杂度高等问题,设计了一种由注意力模型引导的模型压缩方法。具体研究内容如下:(1)抗锯齿无锚框目标检测模型为了解决无锚框目标检测模型存
学位
隐私问题限制了数据的流通和利用,使拥有数据的各方形成了一座座数据孤岛。联邦学习和同态加密或差分隐私相结合能够实现跨孤岛的联邦学习,打破这种数据孤岛。基于同态加密的联邦学习在实现分布式机器学习的同时能够保护用户数据隐私,但加密后的数据是透明的,无法检测正确性,因此对恶意节点的容忍能力不足。使用差分隐私能够在联邦学习过程中保护各节点的数据隐私,但在模型参数中添加噪声会降低模型检测的准确率和收敛效率。针
学位
近年来,深度学习理论和技术都取得了突破性的进展。应用基于深度学习的技术自动识别和分类程序源代码,提高了开发人员对程序的理解和分析效率,并且有助于后续软件的开发和维护,在代码分类实际应用中有着出色的表现。然而,深度学习模型往往容易受到恶意对抗样本的干扰,致使其做出严重的错误决策。针对这类问题,如何有效生成对抗样本来参与对抗训练提高模型的鲁棒性引起了源代码处理领域研究人员的广泛关注。源代码的离散化和结
学位
随着互联网技术和移动通信技术的高速发展,数据呈现爆发式增长,越来越多的个人或者企业将信息存储在云服务器和雾服务器中。云存储和雾存储为用户提供便捷、性价比高的数据存储服务,用户将数据加密外包到服务器后,用户失去数据的管理权,这将会产生许多数据安全问题。为预防发生数据安全问题,过期数据需要被及时删除,并且在删除后需要执行删除验证以确保数据被真实的删除,所以数据确定性删除受到研究者们的广泛关注。本文基于
学位
伴随着互联网规模不断扩张,微博逐渐成为国民获取新闻资讯、传播信息的重要平台,用户量屡创新高。但由于微博具有匿名性,不可信用户也悄然滋生,并产生大量诈骗、网络钓鱼、詈言侮辱等不良信息,轻则对正常用户造成干扰,重则可能产生社会不稳定因素。因此,如何对用户可信性进行建模、精确识别不可信用户,已成为在线社交网络分析的热点问题。“用户可信性”顾名思义指用户客体能够被主体信任或依赖的能力,带有评价主体的主观色
学位
近年来人工智能迎来了快速的发展,深度学习技术作为人工智能的核心技术之一被广泛应用在各个领域。由于深度神经网络模型在图像处理、自然语言处理以及语音识别等领域的出色表现,一些学者开始研究使用该技术解决源代码处理领域的相关任务。然而,随着对深度学习技术的深入研究,相关学者发现对抗样本很容易对深度学习模型进行攻击,通过向输入样本中添加微小的扰动就会使得模型的预测发生改变,这种现象引起了人们对源代码处理模型
学位
互联网时代海量数据的爆炸式增长对存储设备有了更高要求,为了适应海量数据的存储需求,越来越多的企业和个人选择云存储服务。然而,由于使用云存储服务,用户对数据的控制权会随着数据一起转移到云端。当数据到期或用户提交数据删除请求时,云存储服务提供商可能并没有删除数据或数据备份,导致数据存在安全隐患。因此,为了实现云存储服务器中的到期数据和备份数据的确定性删除,研究人员利用覆盖技术和密码学技术设计了一系列确
学位