基于正例和无标注数据的分布式学习研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:guoxiuguo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,个人媒介以及互联网技术的发展产生了海量的数据资源,为机器学习的飞速发展提供了绝佳的土壤,但随之而来的海量数据的标注问题也面临着巨大的挑战。另外,在某些实际应用中,单个的正向标签往往更容易被获得或引起人们的关注。因此,对仅有部分正例数据(被标注为正例的样本)与无标注数据的场景展开研究,充分挖掘隐藏在这些数据中的潜在信息,开发有效的正例无标注学习算法具有重要的理论意义。但现有的正例无标注学习大多属于集中式学习,需要将所有数据及其标签传输至一个数据融合中心进行处理。然而在实际应用中,数据通常受到多种因素制约而分布式地存储在不同数据节点中,受限于通信带宽以及通信成本等问题难以全部传输至数据融合中心进行处理,这迫切需要我们开发一套有效的分布式正例无标注学习算法。基于上述考虑,针对分布式场景,本文研究了基于正例无标注数据的分布式学习问题。主要工作和创新点如下:首先,本文针对正例和无标注数据设计了带自适应门限的标签校准损失函数,利用随机特征映射来逼近高维核函数空间,并使用基于锚数据点的流形约束提升半监督学习的性能。基于各节点的损失函数构造了去中心化的全局优化问题,并使用交替乘子法使得各节点在仅需要对邻居节点传递少量信息的条件下,也能获得全局最优解,从而推导出分布式正例无标注学习算法。最后通过仿真实验验证了所提算法的优越性能。其次,针对多标签分类中有限的标注数据上仅有单个标签被标注为正例的情况,研究了基于单正例多标签数据的半监督学习问题。设计了可以同时从完全未标注的数据和单个标签被标注为正例的数据中提取信息的两种损失函数,且使用基于锚数据点的流形约束提升分类性能。基于各节点的损失函数构造了去中心化的全局优化问题,并使用分布式梯度下降算法对全局优化问题进行求解。随后,引入事件触发机制在降低网络的通信频次、减少网络传输代价的同时保持了良好的学习性能。最终通过仿真实验验证了所提算法的效果。最后,借鉴随机扰动的思想,结合了最差噪声扰动和最差连接扰动两种扰动方式,提出了基于锚数据点的分布式全局最坏扰动策略。基于该扰动策略对上述提出的两种正例无标注学习算法进行优化以进一步提升分类性能。并通过在多种数据集上的仿真实验验证了所提方法有效提升了正例无标注学习的性能。
其他文献
本文通过分析少年儿童产生心理障碍方面的原因,从四个方面阐述了少儿图书馆如何发挥社会职能作用,承担相应的责任和义务,为少年儿童提供心理健康服务。
会议
报纸
针对当前智慧管廊监控的现状及存在的问题,本文设计了一种基于边缘计算架构的智慧管廊监控系统,重点介绍了系统的架构设计及施工流程。实验结果表明,该系统能有效消除传统管廊的安全隐患,提升管廊的运作效率。
期刊
<正>培养健康心理的最佳时期为少儿时期,这一时期是各种行为习惯奠定基础的阶段。培养孩子身心健康的全面发展,就应从少儿时期注重体育教育。人们长期认为体育教育的功能是增强学生体质、增进健康,但不知体育教育在对学生心理健康培养方面能起到特殊的作用。体育教育对学
期刊
报纸
vSLAM(visual Simultaneous Localization and Mapping,视觉同步定位与建图)技术被广泛应用在机器人、无人机、混合现实等领域。该技术对实时性要求较高,且常被部署于嵌入式设备。然而由于功耗、资源等因素限制,嵌入式系统的性能往往不足以支持实时的vSLAM应用。为了提高嵌入式vSLAM系统的实时性,现有研究开始使用硬件加速器来加速vSLAM中的部分计算过程。特
学位
在当前新课程背景下,初中数学教师在教学活动中需要采取更加科学有效的教学举措、教学方法,找到新课程视域下的数学教学核心问题,结合更加科学有效的教学方法,帮助学生在学习探索环节实现学科情感、素质、能力、思维的高效发展。本文对新课程标准下初中数学教学存在的问题进行简要分析,并且提出在当前新课标视域下提高数学教学效率的关键举措。
会议
深度神经网络(Deep Neural Network,DNN)如今在各种计算平台上受到了广泛应用,忽视或者低估深度神经网络计算平台所可能遭受的硬件风险有可能会给使用者带来巨大的危害。目前,DNN硬件平台上所面临的被动威胁(比如制造工艺上的缺陷,永久性故障以及软错误等)已经受到了学术界与工业界全面的研究。然而,DNN的硬件加速技术使其在能够为边缘设备提供实时的决策与推断的同时也引入了新的安全隐患。即
学位
基于生物电信号的手势识别技术是通过采集人体表面的生物电信号,根据生物电信号的变化来判别手势的变化,因此生物电信号采集技术是该领域的重要组成部分,生物电信号的采集质量直接影响到后续手势识别的精度,因此需要设计采集精度高,抗干扰能力强的生物电信号采集系统用于手势交互。本文根据表面肌电信号特征和电阻抗采集特点分别设计了手臂表面肌电信号采集系统和手臂电阻抗采集与断层成像系统,为生物电信号的采集提供精确,便
学位
随着第五代移动网络(The 5th Generation,5G)的商业部署,以人工智能、云计算、物联网为代表的新兴行业不断涌现,各种便携式无线通信设备的数量出现了爆炸性的增长,这对5G网络容量的可持续发展提出了极大的挑战。为了尽可能地节省无线通信设备的能耗和成本,同时满足高速率大带宽的系统需求,智能反射面(Intelligent Reflecting Surface,IRS)辅助的毫米波通信技术以
学位