基于局部和非局部规则化的半监督深度学习

来源 :天津大学 | 被引量 : 0次 | 上传用户:kezhixiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习模型在多领域的成功应用,基于规则化的深度神经网络得到了迅猛发展,即在深度学习模型最终优化的目标函数(损失函数)中加入了一些规则化项,使得最终训练得到的特征更有益于后续的应用。但就分类任务而言,当前规则化方法的性能面临着严重的挑战。针对上述问题,本论文就分类任务,设计了一种新颖的规则化方法,它整合了标记样本和无标记样本中的局部和非局部约束信息,通过利用这些信息来提取那些能够有效保留原始样本空间中的类别可分性的抽象特征。对于标记样本,我们利用类标签来定义局部和非局部的信息,然后通过最小化类内紧密性(局部性)和最大化类间可分性(非局部性)来获得拓扑规则化项。对于无标记样本,我们使用一个样本到其他样本的平均距离作为阈值来判定它的邻居和非邻居样本,然后这个拓扑规则化项就是同时最大化非局部散度和最小化局部散度。通过整合标记样本和无标记样本的局部和非局部拓扑规则化项,我们的判别规则化项能够提取那些更适合分类的特征。综上所述,本文提出的基于局部和非局部规则化的半监督深度学习的解决方案,给出了新的规则化深度学习方法。本文在多个标准的图片数据集上进行了验证,通过大量的性能评估和对比实验表明,我们的方法提取的特征更具判别性,在图片分类任务上,具备显著的性能优势。
其他文献
本文从计算机安全的基本原理和MIS系统的设计基础出发,详细介绍了基于B/S结构的学位管理信息系统的开发和实现,讨论了系统开发方法和技术路线的选择,详细介绍了数据库设计和核心
随着计算机技术和通信技术的迅速发展,嵌入式系统得到了越来越广泛的应用,已经成为了计算机应用领域的一个重要分支。如今,嵌入式系统的应用数量已远远超过了各种通用计算机,在信
本课题研究基于组件技术的数控软件系统集成平台的设计与实现。这个平台以组件描述方法和软件体系结构描述方法为基础。 本课题提出了一种基于XML技术的可扩展的组件描述
螺旋波是非平衡斑图中最常见的一种,广泛存在于数学、物理、力学、天文、化学、医学、生物等学科。螺旋波形成与失稳会对一些实际系统产生损害,因此开展对螺旋波的失稳机制及其
BACnet (A Data Communication Protocol for Building Automation and Control Network)协议是世界上第一个楼宇自动控制网络协议,现已成为国际上智能建筑发展的方向和主流通
随着嵌入式应用技术的迅速发展,嵌入式系统已经广泛地应用于人类生活的方方面面。社会对嵌入式人才的需求也不断增加,很多高校已经开设了嵌入式应用技术课程。该学科具有很强
近年来,随着网络技术的飞速发展,在Internet上涌现了许多高带宽需求的多媒体应用,例如视频点播、远程教育和交互式游戏等等,IPv4协议已经不太适合这些应用。因此,IETF提出了IPv6协
海量多元化的移动互联网应用正影响甚至重塑人们的生活,但“碎片化”的APP使得用户在完成大粒度任务时不得不经常在众多APP间进行手动切换,这极大地损害了用户的使用体验。随
无线传感器网络作为当今信息领域新的研究热点,涉及多学科交叉的研究领域,有非常多的关键技术有待发现,本文仅研究时间同步和二层架构,并实现一个选路协议。 在无线传感器网络
随着互联网技术的快速发展,Web应用被大量开发来提供各种服务,使人们生活更加便利。而针对Web应用安全漏洞的攻击对各类网站构成了严重威胁。目前,跨站脚本(cross-site scrip