【摘 要】
：
深度学习在计算机视觉、自然语言处理、语音信号识别等领域都取得了成功。在有限的样本下训练深度学习模型通常会遇到过拟合的问题,而增加数据量是缓解过拟合的有效手段。然而在实际中利用人工标注数据往往是代价昂贵的,因此需要设计有效的半监督学习方法利用未标记数据进一步提升模型的泛化能力。本文针对半监督分类任务,对传统的一致性估计方法进行了研究,主要研究内容如下:（1）Temporal Ensembling模型
论文部分内容阅读
深度学习在计算机视觉、自然语言处理、语音信号识别等领域都取得了成功。在有限的样本下训练深度学习模型通常会遇到过拟合的问题,而增加数据量是缓解过拟合的有效手段。然而在实际中利用人工标注数据往往是代价昂贵的,因此需要设计有效的半监督学习方法利用未标记数据进一步提升模型的泛化能力。本文针对半监督分类任务,对传统的一致性估计方法进行了研究,主要研究内容如下:（1）Temporal Ensembling模型和虚拟对抗训练作为两种最新的两种半监督学习算法,在一些经典半监督学习任务中达到了最先进的精度,但是它们存在以下缺点:Temporal Ensembling模型在训练过程中使用低效的随机噪声进行数据增强,不能充分发挥模型的效果;虚拟对抗训练方法由于在推导过程中需要两次反向传播,存在时间成本较大的缺点。针对这些问题,本文将两者结合,利用虚拟对抗扰动代替随机噪声来提高模型性能,同时复用虚拟对抗扰动在不损失明显准确性的前提下加快虚拟对抗训练的训练过程,实现了两种算法的相互提升。（2）为了探究半监督学习任务中一致性估计方法的缺点,本文通过实验表明了基于一致性的方法存在以下两个问题:1)未标记样本数量大幅增加,传统方法的精度却增长缓慢,不能充分地利用大量未标记样本的信息。2)当标记样本数量不大时,传统方法的性能会快速下降。基于这两个发现,本文提出了度量学习聚类和辅助假样本两种方法来缓解以上问题。（3）在MNIST、Fashion MNIST、SVHN,CIFAR-10和CIFAR-100等数据集上验证了本文提出方法的有效性,并取得了先进的效果。
其他文献
随着全球气候变暖、土地沙漠化程度加剧,全球环境正在逐渐恶化,世界各国纷纷将汽车首要发展方向转向电动汽车。动力锂离子电池因具有能量密度大,工作寿命长以及绿色环保等优点成为现在电动汽车电池组的优先选择。由于锂电池的化学特性受环境、温度等因素的影响,其电压、电流、功率等数据都是非线性的,给电池管理系统（BMS）带来了重大挑战,使其难以对其进行准确的故障诊断。BMS需对电池各项实时状态进行检测,以保证电池
人类可以根据交互过程实时需要,改变自身关节“软硬程度”,实现稳定的交互控制,关节这种特性被称为动态阻抗。本文以上肢末端的腕关节为研究对象,精确测量腕关节的动态阻抗,有助于揭示人体手腕操作机制,对关节疾病诊断治疗和智能穿戴设备设计,都具有重要意义。相比静态或准静态时关节阻抗测量,动态阻抗测量更加困难。通常用二阶模型表征关节角度与交互力矩之间的动态关系,并采用随机激励去激发关节动态特性,然后通过参数辨
城市道路场景视觉感知算法对于无人驾驶避障至关紧要,然而由于城市道路场景复杂、困难样本极多,现有算法普遍存在分割定位精度低、运行速度慢的问题。为设计出兼具高实时性和精度的视觉感知算法,本文进行了如下研究:首先,搭建了兼具的高实时性和高精度城市道路场景实时视觉感知神经网络架构。优选了Efficient Net-d3作为特征提取模块;引入注意力机制,改进了特征加权融合PA-FPN,并选为特征融合模块;最
随着环境恶化、能源安全和地缘政治问题的日益突出,人们越来越重视可持续发展。根据国际能源署的统计,建筑的能耗已经占到社会总能耗的32%。随着全球城镇化的进一步推进,建筑能耗的占比会越来越高。而现代建筑中暖通风空调（Heating Ventilation and Air Conditioning,HVAC）系统的能耗占比非常高,因此本文研究建筑HVAC系统能耗的预测方法和降低HVAC系统能耗的途径。本
随着我国老龄化人口和残疾人数的增多,使得外骨骼机器人具有良好的应用前景。传统的外骨骼机器人的控制方法是通过人体的肌电信号和装在外骨骼机器人上的传感器来实现的,但是对于几乎没有残余的运动能力和肢体残疾的患者来说并不能有效采集到对应肢体的肌电信号,而脑电信号却不受这些因素的限制,由此引申出来对脑电信号模式识别的研究。本文采用了运动想象脑电信号作为研究的数据,实现了对两类的运动想象脑电信号的分类识别,有
进入21世纪以来,以通信、计算机为代表的人工智能的迅猛发展使现代社会加速迈入了智能化时代。如今,通信社交、智能电网等不同领域呈现出网络化趋势,各种各样的网络化复杂系统出现在人们的工作和生活中。研究网络中复杂动力学行为有助于人们清晰地认识动力学的行为特性,有助于科学规划和设计复杂系统。因此,本文基于网络中常见的中观结构,研究了不同动力学的行为特性,揭示了中观结构的变化如何影响动力学的行为。本文的主要
我国制造业正在从劳动密集型向技术密集型转化,推出低成本、高稳定性的智能焊接机器人系统,一方面可使部分焊工从恶劣的环境中解放出来,另一方面也能提高焊接效率和工件品质的一致性,对我国焊接机器人技术发展和积累皆有重要意义。虽然示教型焊接机器人系统得到广泛使用,但在焊接过程中,当工件发生形变时,它只能按照预先设定的焊接路径与参数进行焊接而无法实时纠偏。离线编程型焊接机器人可通过提前规划的路径完成焊接,且焊
从海量的医疗信息中发现有价值的信息已成为机器学习等领域的热点研究内容,医疗数据分类是其中一项重要技术。现实医疗数据存在不同类别样本数量不平衡的问题,训练的分类模型易偏向多数类（正常人）而忽视蕴含更多价值信息的少数类（疾病患者）。另外医疗数据中的特征维度高且复杂,其中存在大量的无关和冗余特征,将全部特征用于训练分类模型不但会增加计算成本而且会降低分类性能。本文围绕上述两个问题开展研究,主要内容如下:
随着人工智能技术的快速发展,汽车的智能化水平与日俱增,结构化道路作为最常见和最重要的交通场景,是实现自动驾驶典型的应用场景。在自动驾驶技术中,智能车的驾驶行为决策一直是研究的热点和难点,目前主流的决策方法主要基于专家规则,缺少对环境的适应性和泛化性。本文以智能车为研究对象,基于结构化道路交通环境,面向直道、并道以及环岛三种典型场景,针对智能车行为决策的特殊性和环境的多样性,提出了两种基于深度强化学
电动汽车因其安全可靠、能源充足、污染气体零排放等优点受到了社会各界人士的广泛关注。无线电能传输技术可以解决充电难、储能慢、续航短、电池容量小等限制了电动汽车普及的问题,但抗干扰能力弱、功率波动大、可靠性低等缺点局限了该技术的应用。为了增强抗干扰能力、减小功率波动、提高可靠性,本文分析并设计了无线电能传输系统,并深入研究了系统特性和控制策略。本文的主要研究内容如下:分析了无线电能传输系统的电气特性以