深度胶囊神经网络架构和算法的研究

来源 :天津理工大学 | 被引量 : 0次 | 上传用户:lzh8608
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
胶囊神经网络是近几年提出来的以向量为基本单元的新型神经网络模型,其特点是能够有效学习图像中实体之间的空间层级信息。深度胶囊神经网络则是胶囊模型研究的重要组成部分,是一种新兴的深度学习模型,其研究还处于初期阶段,存在诸多有待解决的问题,其中包括:缺少适合深度结构的胶囊路由算法、缺少合理的网络架构、模型参数需求量过大、缺少有效的胶囊正则化方法等。为进一步推动深度胶囊神经网络的理论完善,本文针对上述这些问题,进行了如下几个方面的深度研究。(1)提出了张量胶囊路由算法与正则化方法。该算法中,胶囊以张量为基本结构,用卷积实现不同层级胶囊之间的变换。在耦合系数的计算过程中,本算法以张量胶囊为基础,对其进行改进。针对胶囊的正则化问题,提出了基于张量胶囊的dropout方法,该方法可以随机的将张量胶囊中的部分数据屏蔽,促进网络提取更为鲁邦的胶囊信息。实验表明,张量胶囊路由算法与正则化方法适合构建深度胶囊网络,有效提高了胶囊模型的分类性能。(2)提出了基于稠密胶囊连接的深度胶囊网络架构及轻量化方法。该架构借鉴稠密卷积网络的思想,采用模块化设计,在每个模块中,胶囊层之间通过稠密胶囊连接,这种连接一方面可以大量的增加胶囊层,实现更为深度的模型,另一方面使块内的胶囊层成为紧密的整体,有利于梯度的反向传播。为缓解由于层数的增加而带来的参数压力,进一步提出了多种轻量化方法。其一,针对张量胶囊路由,采用卷积可分的思想,将路由中的卷积计算分为多个阶段,每个阶段采用参数更少的卷积实现,有效降低了张量胶囊路由对参数的需求,提高了参数的利用率;其二,从架构入手,胶囊层采用卷积作为胶囊的变换运算,全部胶囊层均采用张量胶囊路由实现,提出了基于稠密胶囊架构的全张量胶囊网络,该网络参数更少并且不会随图像尺度的扩大而增加;其三,针对稠密胶囊网络中作为分类器的全连接胶囊层,将底层胶囊投影到一个中间的低维度空间,然后再从底维度空间投影到高层胶囊空间,提出了一种两次投影的轻量化方法,可以以少量的性能代价,获得有效的参数压缩。以上方法的有效性均得到实验验证。(3)提出了一种基于多管线处理机制的多信息胶囊网络及其轻量化方法。该网络根据胶囊的理论,基于多管线处理机制,每个管线由独立的深度胶囊神经网络构成。每个管线均能够处理不同的图像信息,并在交叉节点的帮助下,实现不同信息的交互。同时在多信息胶囊网络中构造了决策器机制,实现每个管线输出结果的融合。为进一步轻量化多信息胶囊网络,提出了基于复合胶囊的两级分类轻量化方法,该方法首先用复合胶囊实现一级粗分类,然后利用一个单层神经网络去解码复合胶囊,以得到更细粒度的分类。最后结合两级的分类结果,得到最终的输出。实验表明,多信息胶囊网络及其轻量化方法能够以极少的参数开销,获得优秀的网络性能。(4)提出一种基于特征变换的胶囊路由算法。首先,该算法将每个低层胶囊用矩阵映射到高层胶囊空间;然后,根据特征变换机制,将其映射后的胶囊调整为预测向量;最后使用可训练的路由函数,来计算耦合系数。为减少冗余的胶囊数据,进一步提出了一种新颖基于注意力机制的胶囊池化方法。实验表明,基于特征变换的胶囊路由算法和基于注意力机制的胶囊池化方法能够显著提高深度胶囊网络的分类性能。
其他文献
研究背景:肥胖(Obesity)、高血压(Hypertension)、糖尿病(Diabetes mellitus,DM)、心血管疾病、代谢综合征(Metabolic syndrome,MS)、慢性肾脏病(Chronic kidney disease,CKD)等疾病统称为慢性非传染性疾病(non-communicable chronic diseases,NCD)。既往的流行病学调查研究显示NCD患
相控阵天线能够实现快速波束扫描、自适应波束形成及抗干扰、高精度搜索及跟踪等先进功能,广泛应用于军民领域的各个场景。未来的电子平台的发展方向趋于电子侦察、电子干扰、雷达探测、无线通信等多功能一体化。另一方面,面对日益复杂严峻的战场环境,电子平台的隐身技术已成为当前军事领域发展的重要方向,对搭载的天线数量及天线的雷达散射截面(Radar Cross Section,RCS)提出了更严苛的要求。因此,未
通过识别手势动作对设备进行隔空操作是自然人机交互的重要手段。基于高分辨雷达的手势动作识别具有目标信息丰富、隐私保护性能良好以及光照鲁棒性等优势,是目前手势识别领域的热点研究方向,在智能家居、自动驾驶等领域有潜在应用需求。作为传统人机交互的替代模式,现有的高分辨雷达手势识别技术着重解决手势动作识别准确性的问题,而针对识别方法高鲁棒性和低延迟性的研究还不够深入。为了解决上述问题,本文通过分析手势动作的
锂硫电池是一种高能量密度(2600 Wh kg-1)和低成本电池体系,具有潜在的应用前景,因此受到了学术界和工业界的广泛关注。但是,锂硫电池距离大规模商业化应用还有很多问题需要解决,主要包括以下几个方面:(1)穿梭效应造成活性物质损失,导致容量衰减以及循环寿命缩短;(2)充放电产物(硫和硫化锂)导电性差,影响了反应的动力学性能;(3)含硫物种在充放电过程中产生巨大的体积变化,影响电极结构的稳定性与
随着无线通信的迅速发展,未来网络中数据速率需求爆炸式增长,以适应不断涌现的新型智能业务。超密集网络(Ultra-dense network,UDN)旨在特定区域内部署大量具有低功耗的接入点(Access point,AP),是实现未来网络无缝覆盖、高速通信、海量接入的关键技术之一。然而,随着网络中接入点的密集部署导致了不规则的小小区结构,也使得其覆盖区域的干扰分布更加复杂。为了实现更高速率、更低时
在当前全球碳达峰碳中和发展理念下,锂离子电池作为一种绿色储能器件,受到社会的广泛关注。然而,锂离子电池由于锂矿产资源匮乏、分布不均以及高昂的成本,在中国大规模储能领域的应用受到明显的限制。为开发新一代低成本储能器件,有机钾离子电池引起了研究者的重视。相比于常规的无机材料在储钾时普遍存在的结构坍塌、稳定性差等问题,有机材料被证明可以稳定存储离子半径更大的钾离子,具有绿色环保、结构可设计以及性能可调控
伴随着“双碳”目标的提出,能源结构发生转变,可再生能源并网渗透率不断增加,新能源的间歇性和波动性问题给电网的稳定性带来极大冲击,仅依靠传统手段来维持电力系统安全稳定运行的方式面临严峻挑战。需求侧负荷资源通过灵活聚合后参与系统优化调度,可以有效抑制新能源波动问题,然而传统负荷聚合方法没有充分考虑用户响应意愿差异,进而在调度过程中对用户用电体验造成一定程度影响,无法满足电网精细化管控需求。本文以海量柔
基于随机分布反馈的光纤随机激光器打破了人们对激光器的常规认知。其复杂的物理机制和开放腔结构为光纤激光器的基础研究和多维度调控提供了良好的平台。鉴于其无纵模、输出稳定、结构简单、转换效率高等特点,光纤随机激光器已经历了十多年的快速发展,从最初的单一形态向多样化拓展。从光谱演变、时域特性等理论基础的深入研究,到宽带可调谐、多波长、窄线宽、高功率、低噪声等多类型光源的实现,再到从近红外到可见光和中红外的
当今社会的发展还是主要依靠化石燃料,随着“碳达峰、碳中和”目标的提出,能源结构的转变势在必行。氢气具有非常高的能量密度,而且燃烧产物是水,不会造成环境污染问题。可再生能源电解水制氢应用前景广阔,析氢反应(hydrogen evolution reaction,HER)往往要克服高的反应势垒,需要合适的催化剂降低反应势垒,从而提高产氢效率。目前贵金属Pt仍然是最有效的HER催化剂,但受限于数量稀少且
分子筛由于具有可调控的酸性、较大的比表面积、较高的热/水热稳定性以及丰富的孔道结构,被广泛应用于吸附分离、离子交换、催化以及一些新兴领域。其中,钛硅分子筛titanium silicalite-1(TS-1)归属于MFI拓扑结构具有双十元环孔道,Beta分子筛归属于*BEA拓扑结构具有三维十二元环孔道,它们因其独特的孔道结构,在催化反应中展现出优异的择形性,是两种重要的工业催化剂。然而传统分子筛催