【摘 要】
：
在线知识蒸馏通过同时训练两个或多个模型的集合,并使之相互学习彼此的提取特征,从而实现模型性能的共同提高。已有方法侧重于模型间特征的直接对齐,从而忽略了决策边界特征的独特性和鲁棒性。利用一致性正则化来指导模型学习决策边界的判别性特征。具体地说,网络中每个模型由特征提取器和一对任务特定的分类器组成,通过正则化同一模型不同分类器间以及不同模型对应分类器间的分布距离来度量模型内和模型间的一致性,这两类一致
论文部分内容阅读
在线知识蒸馏通过同时训练两个或多个模型的集合,并使之相互学习彼此的提取特征,从而实现模型性能的共同提高。已有方法侧重于模型间特征的直接对齐,从而忽略了决策边界特征的独特性和鲁棒性。利用一致性正则化来指导模型学习决策边界的判别性特征。具体地说,网络中每个模型由特征提取器和一对任务特定的分类器组成,通过正则化同一模型不同分类器间以及不同模型对应分类器间的分布距离来度量模型内和模型间的一致性,这两类一致性共同用于更新特征提取器和决策边界的特征。此外,模型内一致性将作为自适应权重,与每个模型的平均输出加权生
其他文献
随着智慧城市、公安大数据的发展,视频监控网络已成为城市治理的重要基础设施。但是,攻击者通过替换或篡改监控摄像头这一重要的前端设备,能够接入内部网络,实现设备劫持、信息窃取、网络瘫痪,威胁个人、社会与国家安全。为了提前识别非法或可疑的摄像头身份,提出了融合多维标识特征的摄像头身份识别方法。通过提取摄像头静态信息与动态流量信息,构建了融合显性、隐性、动态标识符的摄像头身份标识体系。为选择简洁有效的身份
随着电商的迅速开展,快递行业特别火爆。大量用户取完快递后习惯性将未经处理的快递盒随手扔掉,此时快递单上大量的用户明文隐私信息将面临被泄露的风险。AES算法是对称密码算法,具备算法简单易实现、加解密速度快、安全性高等特点,是加密快递业用户明文信息的理想算法。QR码(快速响应二维码)具有安全性高、读取数据速度快、可在小空间内打印、可从任意方向读取等优点。为了保证运输效率,快递基于用户明文信息运输,快递
光响应非均质性具有唯一性和相对稳定性,是对数字成像拍摄设备进行溯源取证的重要依据,被称为设备指纹。在图像的真实噪声中,除了PRNU设备指纹外,还包含大量的随机噪声。为有效提取PRNU设备指纹,提出一种基于对偶生成对抗网络的数字成像设备指纹提取算法。该算法基于生成对抗网络的思想进行训练,生成训练数据进行数据增强,有效地提高了训练效率;同时采用UNet的网络结构联合残差学习的策略,能够在减少GPU占用
为解决在GPS信号缺失的室内环境下无人机的定位和自主飞行问题,以多旋翼无人机为平台,基于机器人操作系统(Robot Operating System,ROS)和MAVROS构建了通信网络系统,并选用英伟达Jetson NANO运行该系统,采用Pixhawk4飞行控制板运行核心控制部分,结合基于英特尔追踪实感摄像头T265的位置信息,融合飞行控制板载传感器数据对无人机状态估计进行修正,提高了无人机室
道路是现代交通运输最主要的途径之一,道路缺陷对于道路安全有着巨大威胁。因此准确检测道路缺陷对道路养护修缮具有重要意义。道路缺陷具有低连续性和低对比度的特点,现阶段多采用人工检测方法,检测效率低,人力成本高,且检测人员的安全可能会遭受威胁。随着深度学习的发展,神经网络方法被广泛应用于工程实践。U-net是具有编码器-解码器结构的端到端深度学习模型,对微小对象检测能力强,适用于道路裂缝缺陷检测。利用U
研究COVID-19低剂量CT图像质量评价算法具有重要意义,但基于深度学习的方法随着网络层数的增加会出现梯度消失问题,针对此问题,文中提出了基于混合域注意力的DenseNet算法。DenseNet通过特征重用和网络的紧密连接,在减少参数的同时解决了梯度消失问题;基于人眼的注意力机制,将自下至上和自上而下结构相结合以实现空间注意力;基于人眼视觉具有多通道特性,针对空间域注意力忽略通道域中的信息,研究
文章以多媒体处理技术课程中霍夫变换知识点的教学设计为例,探讨了如何采用启发性教学、研究性教学等手段,采用讲解、演示、互动等多种形式,促进学生对重难点知识的理解,并开展课程思政,培养学生的家国情怀及创新思维。
在研究生成对抗网络(GAN)生成动态图像时,经常出现前后帧图像内容中的部分物体颜色不一致和生成的细节不自然等问题。针对当前生成视频的不理想问题,采用的主要方案是分别对GAN网络中的生成器和判别器进行改进,具体表现在两个方面:一方面是在生成器中对视频的前景和背景分别建模,并且使用多重空间自适应归一化(Multi Spatially-Adaptive Normalization, M-SPADE)算法
磁瓦作为永磁电机中的关键部件,其产品质量易受到内部缺陷的影响而下降。然而传统的声振检测手段在面对快速、精准的检测需求下已暴露出一些低效率的问题,因此开发一种针对磁瓦内部缺陷的高效智能化检测方法具有重要的现实意义。文中结合深度学习的优势,提出了一种基于卷积神经网络的磁瓦内部缺陷声振检测方法。在该方法中,磁瓦的一维声振信号首先被转换为二维声振图像,再输入针对信号特点所设计的卷积神经网络进行学习训练,以
厚层松散堆积区(盆地或平原等)发震断层多以隐伏活动为主要特征,基于上断点的传统活动断层探测技术通常难以约束断层最新活动性质和时代。利用冲积河流对地表形变的敏感性评估断层活动性,是极具潜力的隐伏活动断层研究方向。本文基于TM/ETM遥感影像,对小浪底水库建设前后(1990～2013年)郑州—济南段黄河水域多期次几何特征进行提取和分段,共获取6个时期河道中心线弯曲度和5个时段河道面积重叠率的沿程变化信