【摘 要】
：
知识蒸馏是一种深度神经网络的模型压缩技术,知识蒸馏将预训练的大型模型作为教师,小模型作为学生,将教师的知识转移给学生来达到压缩模型的目的。目前,知识蒸馏已经广泛应用到图像识别、自然语言处理、语音识别等领域中。与此同时,知识蒸馏因其压缩模型的能力,在汽车辅助系统、视频监控系统、大型推荐系统等对资源,效率要求严苛的领域有较多应用。在线协作知识蒸馏方法是知识蒸馏方法的改进,此方法省略了预训练大型网络模型
论文部分内容阅读
知识蒸馏是一种深度神经网络的模型压缩技术,知识蒸馏将预训练的大型模型作为教师,小模型作为学生,将教师的知识转移给学生来达到压缩模型的目的。目前,知识蒸馏已经广泛应用到图像识别、自然语言处理、语音识别等领域中。与此同时,知识蒸馏因其压缩模型的能力,在汽车辅助系统、视频监控系统、大型推荐系统等对资源,效率要求严苛的领域有较多应用。在线协作知识蒸馏方法是知识蒸馏方法的改进,此方法省略了预训练大型网络模型的过程以节省计算资源。然而在线协作知识蒸馏方法存在一些问题,在在线协作知识蒸馏中,网络模型训练初期,学生网络的准确率较低,同时学生网络被相同信号监督,造成了集成分类器的预测准确率较低和学生网络多样性不足的问题。与此同时,在汽车辅助系统中,图像分类算法需要消耗大量计算资源。针对上述问题,本文做了如下工作:（1）针对上述在线协作知识蒸馏方法存在的不足,本文根据学生在训练过程中的学习状态集成学生网络,另一方面使学生网络符合不同分布来增加学生网络之间的多样性,从而保证了学生网络在训练过程中可以更有效的被集成,并且在训练过程中集成学习可以根据多样性的学生网络生成更高质量的集成分类器。实验证明,此方法在多个数据集具有优异的表现。（2）针对汽车辅助系统中图像分类算法需要消耗大量资源问题,本文提出了一种新的在线知识蒸馏方法,用来代替传统图像分类算法,并将这种方法应用到汽车辅助系统中,该方法根据预测类别之间的关系对集成分类器质量的影响,基于预测类别之间的关系对集成分类器质量的影响,提出了一种生成集成分类器的新方法,从而获得了更高质量的集成分类器。实验证明,此方法构建了更轻量级且更高准确率的图像识别模型。
其他文献
随着现代科学的发展以及学科之间的相互渗透,模糊数学的应用愈发广泛,在金融中的作用也逐渐显现.由于受到市场的供给和需求、财政收支、经济政策、货币供应、物价等不确定因素的影响,使得金融活动中的无风险利率、股票价格等数量存在不确定性.在金融活动中,很多时候不仅要考虑某一事件是否会发生,而且会涉及一些没有明确边界的数量.比如,在二叉树期权定价模型中,股票在下一时刻的价格通常只是预测数值,是对未来的一种粗略
降低出生缺陷、提高人口质量是事关人口素质的大事,孕妇围产期的监护至关重要。胎心宫缩监护（Cardiotocography,CTG）是临床评估胎儿健康状况的主流监测手段,主要依靠医生判读纸质胎心率（Fetal Heart Rate,FHR）记录图形给出诊断结果,准确性依赖于医生的临床经验和能力水平,普遍存在准确度与一致性不理想等问题,胎心率信号的智能分析技术在临床上具有重要的应用前景。本文研究孕晚期
随着城市化进程的不断发展,传统的监控设备由于其过度依赖人工、效率低下等问题已满足不了当下社会的需求,因此智能监控技术成为了当今的一个热门研究方向,而人群异常行为检测作为这一领域内的主要分支技术,也引起了许多国内外研究者的重视。当前已经有许多人群异常检测技术相关算法被提出,现有的多数方法都是通过将图像分割成均匀区域块的方式来提取特征,但是这种方式会破坏行人个体的完整性,从而降低异常行为检测定位的准确
基于混沌的通信技术由于其在安全通信中的潜在应用而受到广泛的关注。混沌所表现出的复杂特性,如连续的宽频谱,天然的类随机性,长期不可预测性等,为其在保密通信方面的应用奠定了基础。如今,在光通信系统中,混沌信号已被用于加密和解密信息以提供安全性。与电混沌相比,半导体激光器产生的光学混沌具有更宽的带宽与复杂吸引子。激光混沌所具有的内在伪随机特性使得预测和重建动力学的过程变得非常困难。激光混沌对初始参数的极
细分造型方法适用于任意拓扑结构的多边形网格,被广泛应用于动漫、游戏等几何造型领域,具有一定的研究价值。本文主要围绕计算机辅助几何设计（Computer Aided Geometric Design,CAGD）中的细分造型方法展开研究,并基于Coons曲面提出一种适用于任意拓扑四边形网格的插值细分方法。首先,介绍细分造型方法相关的理论知识及经典的细分方法,对这些细分方法进行比较、复现,并总结它们的相
如今含有噪声的多智能体系统的一致性吸引了越来越多的注意,除了设计噪声一致性协议让系统达到一致性问题外,还聚焦在网络的拓扑结构与一致性的相互作用。在问题设置背景下,噪声网络的一致性是由网络的拉普拉斯矩阵的特征值所决定。由于网络拓扑结构的复杂性,解析计算矩阵的特征值面临着技术挑战。本文选取一类环树状网络作为研究对象,它的优点是能够解析分析网络的拓扑结构属性对一致性的影响,利用网络规则的拓扑结构,计算得
雷达有源欺骗干扰通过在真实目标附近产生与其在时频域、空域和极化域中均具有类似特征的假目标,来实现影响雷达工作性能,使其无法准确探测目标的目的,是电子对抗（Electronic Countermeasure,ECM）重要的干扰手段之一。为了尽可能地摆脱来自有源欺骗干扰的威胁,保障雷达正常工作,本文深入研究了典型欺骗干扰产生机理,阐述了雷达抗有源欺骗干扰的研究背景、意义和研究现状,总结了欺骗干扰识别技
广义重心坐标能把多边形或多面体内任意一点表示为其顶点的线性组合,因此在计算机辅助几何设计（Computer Aided Geometric Design,CAGD）和计算机图形学（Computer Graphics,CG）等领域都是重要的研究课题。本文用渐进逼近的思想构造广义重心坐标。在平面上,给定多边形及其内一点,首先将多边形投影到以该点为圆心的单位圆上,依次连接投影到同一圆上的各边的中点,形成
随着国家、企业和个人对网络信息安全的高度重视,以生物特征信息为依据的识别技术在各个领域得以广泛应用。相比于指纹、人脸等常见的生物特征识别技术,心电（Electrocardiogram,ECG）信号具备“活体”识别的高防伪性,基于心电信号的身份识别技术在一定程度上确保了身份识别系统对外来侵入的高度抵抗力,具有较大的发展潜力。本文结合信号处理和人工智能算法,从单导联心电信号的质量评估、信号去噪、基于特
文献在学术交流的过程中发挥着重要的作用,研究者需要通过阅读文献了解研究成果、学习研究方法、发现存在问题。在过去,文献被引频次是最重要的学术影响力评价标准之一,研究者一直利用该评价标准作为参考来筛选文献。然而一篇文献的被引用数受很多因素的影响,例如是否有大量的研究者关注同一个研究课题,所以不能简单的利用文献被引频次来筛选文献。为了找到更加准确的文献计量方法来评估学术成果,越来越多的研究者开始关注引文