基于张量网络的机器学习模型研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:chengmoshijing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,许多高维数据在不同的领域中产生。这些高维数据不易用传统方法处理,但迫切需要从这些数据中分析潜在的信息和模式。但是现在的机器学习模型更多地采用矩阵形式,这样会使得我们处理数据需要对数据特征进行向量化处理。对于多元之间的的信息融合和共享,采用矩阵运算表示会很复杂,而张量多线性表示其本身是更加自然的描述。描述张量多线性操作的图示,即张量网络由于其表达的便捷性,现在越来越流行。因为很多低秩的张量网络结构能够更好地降低数据和模型的复杂度。而且由于其多线性运算对于信息融合和共享描述自然性。挖掘张量网络方法在机器学习的应用的研究和论文越来越多。本文讨论了基于特定机器学习算法(尤其是深度学习方法)的张量网络的研究。因此,本研究将集中在以下方面对张量网络的机器学习模型进行研究:本文首先研究了张量网络的压缩特性。随着数据维数的增加,神经网络的参数逐渐增加,这对神经网络的训练也提出了巨大的挑战。一般来说,在当前的应用需求中,即使使用更先进的图形处理器,训练一个深层网络通常也要花费几天甚至更长的时间。对于这个紧迫的问题,使用张量分解方法处理大规模或高维数据集是一种可行的方法。因为采用多线性张量运算和张量分解形式能够降低模型本身的复杂度。本文将通过张量环玻尔兹曼机的研究,探究张量网络降低神经网络参数量的方法。本文设计了针对该模型的CD-k算法并且针对模型设计了秩选择,分类评估,重构和去噪等试验,将模型与RBM以及MPO-RBM进行对比来说明模型的优越性。另一方面,本文对于采用张量网络进行信息共享的深度多任务学习(MTL)进行了探索。深度多任务学习(MTL)就是模型信息共享的一个代表。这个深度多任务学习(MTL)旨在通过同时学习多个相关任务并在相关任务之间共享表示信息来提高原来的深度模型在原始任务上的泛化性能。然而,解决深度多任务学习问题的挑战之一是如何在相关任务中找到有效的信息共享机制,即如何在深度网络中设计更好的参数共享模式。本文探究了如何更好的使用张量网络完成模型参数信息共享(采用类二维PEPS的级联张量网络结构),并且分析了对于Tucker-MTL,TT-MTL的结构仍然存在一些负迁移的问题。并且通过一系列多任务学习的实验进行了模型优越性的验证。
其他文献
近年来,图像超分辨率重建算法的研究取得了重大进展。一般情况下,和较低分辨率图像相比,高分辨率图像可以展示更充分的纹路、更明显的边沿架构,使人类从中获取到更多的有助于图像理解的信息。所以高分辨率的图像更有利于后续对于图像进行分解、处理和应用,同时也可以提高人类的视觉享受。图像超分辨率主要是通过低分辨率图像恢复图像细节,生成对应的高分辨率图像。通常来说,网络越深重建的图像效果越好。但是不计后果地增加网
随着现代科技的革新与发展,海量的互联网用户数据在网络中产生,然而集中式地将数据收集到数据中心的传统方法具有很高的风险与成本,在机器学习中保护隐私的迫切需求促使了联邦学习技术的诞生。而边缘网络的发展让网络服务得以从云端下沉到边缘,硬件设备能力的提升也促进了边缘计算的普及,这使得联邦学习的分布式架构能够灵活地应用于网络中。然而,尽管这项技术能够协调大量的用户在其设备上完成训练任务。但联邦学习要求服务器
深入理解图像的语义信息是计算视觉领域发展的关键,然而在视觉任务中,高级语义信息的获得并不容易,这导致视觉场景图的生成成为一项极具挑战性的任务。视觉场景图生成能帮助本文获得更高阶的语义信息,它作为桥梁连接了物体检测和场景理解,在物体检测的基础上,对物体之间的关系进行建模识别,并使用“主语-谓词-宾语”这样的三元组结构表征物体间的有效关系,最终通过连接这些三元组构成一幅有向的视觉场景图。尽管以往的工作
传统的图像分类任务在很大程度上取决于大规模的数据集,该数据集可为所有类别提供经过标记的样本。但是,在现实世界中,图像的类别遵循长尾分布,其中大多数类别很少出现,因此很难为这些类别收集大量标记的样本。另一个挑战是新定义类别的爆炸式增长,为这些新类别找到足够多的范例是非常困难的。近年来,为了解决这些类别的分类问题,零样本学习得到了广泛的研究。人类可以通过现有的知识动态地创建新的类,而不需要视觉数据。例
随着基于深度学习的算法出现,各种计算机视觉应用都取得了令人瞩目的进步。但是,大量现有工作已经清楚地证明了深度神经网络(DNN)容易受到对抗样本的攻击。而对抗样本攻击就是在输入数据中添加细微的、人眼不易察觉的噪声,从而误导深度网络模型的预测。这些对抗攻击的存在有利于研究人员了解深度网络模型的脆弱性。目标攻击是指攻击方想要将模型预测结果改变为某些提前指定的目标类别中。而目标攻击又可以根据攻击者对于所攻
自2012年深度卷积神经网络在分类任务上的成功以来,计算机视觉领域便迎来了蓬勃的发展。但是,随着研究的深入,计算机在关于视觉单一模态的众多任务中均已超过人类认知的能力。考虑到未来人机交互,联合传统计算机视觉和自然语言的一系列基本挑战逐渐受到研究者们的关注。在计算机视觉三大任务之一的目标检测的基础下,基于语言描述的目标检测在2014年被提出。基于语言描述的目标检测旨在通过物体的自然语言描述在对应图像
生成对抗网络依靠其非监督的学习方式和强大的生成能力,自2014年提出以来就受到了人们的重点关注。GAN在不断提出新模型的同时也遇到了许多新的问题,其中远距离依赖关系拟合能力差,图像全局特征不一致及因此导致的生成图片质量差等问题不断出现,限制了GAN的进一步应用。本文围绕基于通道特征学习的生成对抗网络图像生成方法展开研究,提出了一种有效利用通道特征提高生成图片质量的方法。通过跟踪国内外相关领域的最新
自2012年Google正式提出知识图谱概念以来,知识图谱已经在智能问答系统、推荐系统、垂直搜索服务、辅助决策系统等多个领域展现出丰富的实际应用价值,受到工业界和学术界的广泛关注。但目前知识图谱依旧面临着人工构建成本高、数据稀疏、信息不完善等缺陷,极大限制了知识图谱的应用能力。目前,如何对知识图谱进行高效的表示与推理依旧是研究工作的重点和难点。本论文针对现有研究方法对知识图谱图结构信息利用效率低、
数据集成是信息检索领域的一个关键性任务。其中,实体统一任务是数据集成的一个关键步骤,也称为实体匹配或重复记录检测。实体统一任务指的是,在不同来源的数据中,找出指向同一现实世界中的实体的数据记录。早期的研究主要是基于字符串距离的算法。这种无监督的方法缺乏有效性和泛化性,因为预定义的匹配阈值通常随着数据集的变化而变化,需要人工为不同的数据集设定阈值,缺乏泛化性。另一条研究分支是基于众包的实体统一算法。
随着大数据时代的到来,指数级增长的数据量使得人们淹没在数据文海之中,如何能在浩如烟海的文本之中提炼所需要的信息变得格外重要。自动文本摘要是指利用概率统计、机器学习、深度学习、神经网络等,从文本中提取主旨信息,挖掘关键信息,将文本的主要信息凝缩成简洁表示的摘要。目前在新闻标题生成、文本检索、知识问答等方面得到广泛应用。序列到序列模型是自然语言处理中用途最广泛的模型,一般由编码器和解码器两大部分构成。