基于变分自编码的表征学习研究

来源 :天津科技大学 | 被引量 : 0次 | 上传用户:wudi120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器学习技术的发展,无监督表征学习已经成为目前最重要的研究方向之一。变分自编码模型(variational autoencoder,VAE)因其显式的生成模型建模方式,已经被视为无监督表征学习领域最具研究价值的模型之一。无监督聚类表征学习是表征学习领域一个重要研究分支。传统深度聚类表征学习方法更多关注通过深层神经网络去提取数据的隐层特征来提升聚类精度,较少对聚类任务中数据类别的确定性问题进行分析,同时缺乏对施加约束后的离散隐向量分布的分析。本文提出熵正则化下的变分深度生成聚类模型(variational deep generative clustering model under entropy regularization,VDGC-ER),以变分自编码为基础框架,对其隐空间进行高斯混合先验建模,并以高斯混合中的离散隐向量作为类别向量。通过对离散隐向量引入样本熵正则化项增强预测聚类类别的区分度,同时对离散隐向量定义聚合样本熵正则化项以降低聚类不平衡、避免局部最优,并提升生成数据多样性。之后,采用蒙特卡洛采样及重参数方法估计VDGC-ER模型的优化目标,并利用随机梯度下降法求解模型参数。最后在MNIST,REUTERS,REUTERS-10K和HHAR数据集上设计了对比实验,验证了VDGC-ER模型不仅可以生成高质量的样本,而且可以显著提升聚类精度。无监督解耦表征学习是表征学习领域另一重要研究分支。传统解耦表征学习模型对数据隐空间的建模方式较为单一,而真实世界的数据集中往往存在不同数据的生成因子的物理含义完全不一致的情况,导致这些解耦表征模型能力受限,在复杂数据集上不具备鲁棒性。本文在VAE框架下提出基于结构化先验的VAE层次解耦模型(Hierarchical Disentanglement Method based on VAE with Structured Priors,SPHDVAE)。该方法首先使用高斯混合模型对隐向量先验建模,学习结构化的隐空间表征,实现粗粒度的解耦表征。随后,对隐空间的结构化表征引入正则项归纳偏好,在结构化表征的基础上实现细粒度的解耦表征,使SP-HDVAE模型整体上具备层次化解耦表征能力。最后,通过在d Sprites,MNIST,Fashion-MNIST,3dchair,celeb A与混合数据集上设计对比实验,验证SP-HDVAE模型具备优秀的解耦能力,且可以泛化到更加复杂的数据集上。
其他文献
图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。传统的方法在性能上还存在一定局限性,包括无法充分利用特征信息、模型训练难度大等。近年来随着技术的发展,深度学习算法被应用到图像超分辨率重建技术并取得了优越的表现。本论文基于深度学习进行图像超分辨重建,其创新点主要有以下几项:(1)本文提出一种全新的图像超分辨率重建网络模型,该模型基于深度学习方法以更大范围的感受
学位
近年来,煤炭资源的开发和利用引发的一系列生态环境问题受到了人们的关注,废弃堆积物已经严重影响了矿区的生态系统,尤其是近些年露天煤矿的快速发展,已经给生态安全带来了隐患。为了进一步改善矿区的生态环境,本研究选取内蒙古高寒地区露天煤矿进行深入实地调查研究。对矿区采用样方法进行随机试验,根据样方选取的科学性和典型性原则,分别选择不同恢复年限(1年、2年、3年和4年);不同恢复地形(平台、坡面和田字格);
学位
学位
近年来,国家针对食品安全问题推行了一系列治理政策,食品安全形势趋于稳定。但随着大数据时代的到来,食品安全事件一经出现就会在网络上迅速传播,例如近几年发生的“三文鱼案板上发现新冠病毒”、“天津某餐饮公司配餐环境脏乱差”、“酸菜在土坑里腌制”等食品安全事件,在网络上引发了网民的激烈讨论。信息的爆炸式增长与传播使得厘清事件的来龙去脉变得越发困难,影响对食品安全事件的监管与治理。由此可见,厘清食品安全事件
学位
冲击模型作为可靠性领域的主要研究内容之一,主要用来刻画在不确定环境下系统运行并受到外界冲击时系统的可靠性变化。在装备制造业中,许多系统在工作期间都会受到外界冲击的影响而导致可靠性逐渐降低,因此,对冲击模型进行建模和可靠性分析具有重要的意义。传统的冲击模型都是基于概率论进行建模和分析,而使用概率论来处理问题需要具备三个条件:事件需要明确定义;有大量的样本存在;样本之间具有概率重复性。但是工程中可获取
学位
目标检测是智能安防、自动驾驶、缺陷检测等热门领域的关键技术之一,随着深度学习的发展,基于深度学习的目标检测技术取得了优秀的效果并且已经具备了良好的理论基础。目标检测场景对嵌入式设备有着广泛的需求,并且嵌入式GPU平台由于其出色的计算能力和模型部署的便捷性成为了最常用的图像处理平台之一。但是目前基于深度学习的目标检测算法对嵌入式设备要求较高,并不能完全适用于嵌入式GPU平台。为此,本文对目标检测算法
学位
深度强化学习(Deep Reinforcement learning,DRL)作为机器学习领域的重要学习方法,主要研究智能体如何在未知环境中做出较好的决策,是最有希望实现人工智能这个目标的研究领域之一。目前,深度强化学习在诸多领域如游戏、机器人等取得巨大突破。深度强化学习的目标是找到最优策略,从而取得最大期望回报。为了实现深度强化学习的目标,要求智能体理解所处的环境状态,能够根据任务要求做出符合环
学位
随着智能电网及能源互联网的快速发展,海量异构的电力通信设备不断接入到电力基础设施中,极大地促进了电网的数字化建设。然而,一旦电力通信设备出现故障可能引起电网扰动,威胁电网安全。海量的设备使得故障研判数据呈指数级增长,且由于设备功能各异,故障千差万别、影响不一,导致运维过程中出现监管实效差、故障信息定位难等问题。而现有电力故障数据库结构冗余、关联复杂难以分析,故障信息检索效率低、准确率差,其对电网智
学位
近年来,人脸图像的超分辨率研究具有极其重要的意义,受到越来越多的关注。传统的人脸图像的超分辨率往往采用插值方式容易导致纹理结构粗糙,甚至人脸结构扭曲。基于生成对抗网络的人脸图像超分辨率方法虽然具有强大的数据生成能力,但是由于缺乏反馈不能实现从低分辨率输入到超分辨率结果的复杂映射,且重建结果存在局部模糊或失真等问题。因此,本文提出基于生成对抗网络的人脸图像的超分辨率的改进方法,主要贡献如下:(1)传
学位
复杂场景下的行人重识别是自动驾驶、智能交通、智能安防等领域中应用非常广泛的算法,也是机器视觉应用领域所研究的热门问题。行人重识别的核心问题是在复杂情景中实现跨摄像机对行人的辨认和搜索。目前针对行人重识别任务的方法取得了较好的识别效果,但还是存在以下问题:一方面,行人属性识别作为行人重识别的重要基础,可以提高对行人的辨识度,在行人属性识别实际应用中,经常会遇到训练样本中的属性不平衡情况,影响了算法的
学位