Capsule网络的无监督学习算法研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:zouyuefu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大规模数据的积累,以及计算硬件的进步和各种算法的提出,极大地推进了图像分类、机器翻译、语音合成等领域的繁荣发展。然而,大部分的应用局限于大量有监督数据集可用的场景,而数据的标记又往往是劳动紧密型的,其代价是昂贵的。即使能够获取大量有标记的数据,仍然受限于算法的局限性,比如大规模应用的卷积网络也渐渐被发现具有容易被对抗样本欺骗,灾难性遗忘等缺陷。另一方面,未标记数据往往是易于收集的,而且其出现的场景更加广泛,但是由于无监督算法尚未发展起来,它的利用依然是一个具有挑战性的问题。鉴于上述一些现象,近些年Capsule模型被提出,其主要目的是解决卷积网络所具有的缺陷,提出使用Capsule来封装多个神经元,进而表示一个实体概念,并提出了动态路由的观点。Capsule模型的思想是先进的,但其在具体实现上仍然欠缺发展。鉴于此,本文基于前人的思想与工作,分析了Capsule模型与传统神经网络之间的关联性,并提出一个广义的用于学习Capsule模型参数的动态路由算法。我们在分类问题上检验该算法,与前人的算法相比较,其性能得到了显著提升。另外,我们认为Capsule具有明显的无监督特性。因此,在本文中,我们创新性地提出将其思想与流式生成模型相结合,进而发展出一类称为动态线性流的生成模型。动态线性流模型是一个可逆的,计算效率高的精确似然模型,具备流式生成模型的并行计算特性以及自回归方法优秀的密度估计性能。它除了能够直接对数据进行边缘分布估计外,也能编码和推断数据的隐空间表示,进而使用其隐空间表示进行分类等其他下游任务。在实验中,相比前人所提出的精确似然模型,我们展示了动态线性流模型1)在密度估计方面,能够在Image Net等多个基准图像数据集上获得最优的负对数似然分数;2)在收敛速度方面提升了10倍以上;3)能够在Celeb A 256×256等高分辨率数据集上高效地合成随机样本。我们的实验充分展示了动态线性流模型在无监督任务上的优越性。精确似然模型的训练是简单而稳定的,但对高维变量建模是困难的。而我们的工作充分证明了对高维变量建立精确似然模型的可行性。我们相信,随着方法的改进,精确似然模型将打开无监督学习的新时代,使我们能够解决当前机器学习在数据效率和范化问题上的局限性。
其他文献
随着大数据时代的到来,互联网平台上每天产生的信息量是过去几十年甚至上百年的信息量的总和。如何将海量数据进行科学地获取、存储、查询、共享、分析及可视化,这已成为目前
行政协议丰富了行政手段,适应了现代行政的需要。行政协议本身天然具有矛盾属性,其行政性使诉讼救济途径理论依据不充分,其平等性使非诉强制执行救济途径理论依据不充分,相对人不履行行政协议纠纷陷入两难理论救济困境。理论界为解决此问题提出了三种救济方案:民事诉讼的救济方案、行政诉讼的救济方案、行政非诉执行的救济方案,但这三种救济方案或没有考虑行政协议的行政性,或没有考虑行政协议的契约性。在我国“民告官”的单
学位
该翻译项目为“火的祭礼--阿细人密祭摩仪式的人类学研究”的中译英选译,本翻译原文本摘自该书的第四章:仪式和生态表达。本章中讨论了阿细的仪式与生态环境之间的关系。近年来,学者们越来越关注少数民族如何处理与自然的关系。然而,很少有学者研究该人群的仪式活动是如何或可能与他们的生态环境相关联,以及这些活动如何帮助其调整自身行为,使其能够更好地适应环境。因而原文本很值得翻译,亦使该翻译项目具有重要意义。此外
绝缘子在连接导体的同时,起着电气绝缘作用,它是输电线路的必备器件,大量应用于电力系统中。绝缘子的运行状态影响着电力系统的可靠性和安全性,甚至影响整个电力系统的运行寿
长期以来,我国房地产企业以香港房地产企业的经营模式作为导向,采用集投资、建设、管理于一身的重资产运营模式为总方向,在项目开发过程中获得全部利润。然而,房地产市场供过
蜡染是一项中国民间的传统艺术,作为国家级非物质文化遗产,具有极高的艺术价值和文化内涵。使用计算机技术对蜡染特有的冰纹图案进行仿真,有利于设计者快速获得蜡染风格图案,
电气火灾给人们的生命和财产安全构成了巨大威胁,一直以来都是我国火灾预防工作的重要内容。电弧故障是引发电气火灾的重要原因,特别是由于线路绝缘老化破损或触头连接松动等
掠入射型光学系统广泛应用于软X射线谱段的集能与成像,掠入射镜的面形精度对于保证像斑的能量集中度尤为关键。论文介绍了掠入射X射线光学系统的发展现状,针对掠入射镜的面形
混沌时滞系统同步控制方法的研究一直是控制领域理论研究的热点问题。众多控制方法是从系统状态变量完全可测的角度进行分析,但由于混沌时滞系统的复杂性,很难直接测得所有的
神经网络特别是深度学习的训练非常耗时,并且需要大量的训练数据,这使得其适合于云计算平台。云计算平台可以分布式存储训练数据,并能使用多个主机对神经网络进行并行计算从