【摘 要】
：
针对基于深度学习的人脸识别模型难以在嵌入式设备进行部署和实时性能差的问题,深入研究了现有的模型压缩和加速算法,提出了一种基于知识蒸馏和对抗学习的神经网络压缩算法.算法框架由三部分组成,预训练的大规模教师网络、轻量级的学生网络和辅助对抗学习的判别器.改进传统的知识蒸馏损失,增加指示函数,使学生网络只学习教师网络正确识别的分类概率;鉴于中间层特征图具有丰富的高维特征,引入对抗学习策略中的判别器,鉴别学生网络与教师网络在特征图层面的差异;为了进一步提高学生网络的泛化能力,使其能够应用于不同的机器视觉任务,在训练
【机 构】
：
战略支援部队信息工程大学,郑州 450003;数学工程与先进计算国家重点实验室,郑州 450003;中原工学院 计算机学院,郑州 450007;战略支援部队信息工程大学,郑州 450003;数学工程与
论文部分内容阅读
针对基于深度学习的人脸识别模型难以在嵌入式设备进行部署和实时性能差的问题,深入研究了现有的模型压缩和加速算法,提出了一种基于知识蒸馏和对抗学习的神经网络压缩算法.算法框架由三部分组成,预训练的大规模教师网络、轻量级的学生网络和辅助对抗学习的判别器.改进传统的知识蒸馏损失,增加指示函数,使学生网络只学习教师网络正确识别的分类概率;鉴于中间层特征图具有丰富的高维特征,引入对抗学习策略中的判别器,鉴别学生网络与教师网络在特征图层面的差异;为了进一步提高学生网络的泛化能力,使其能够应用于不同的机器视觉任务,在训练的后半部分教师网络和学生网络相互学习,交替更新,使学生网络能够探索自己的最优解空间.分别在CASIA WEBFACE和CelebA两个数据集上进行验证,实验结果表明知识蒸馏得到的小尺寸学生网络相较全监督训练的教师网络,识别准确率仅下降了1.5％左右.同时将本研究所提方法与面向特征图知识蒸馏算法和基于对抗学习训练的模型压缩算法进行对比,所提方法具有较高的人脸识别准确率.
其他文献
针对移动机器人在复杂地图环境中移动耗时长、易陷入局部最优等问题,设计了一种基于双向搜索的改进蚁群路径规划算法。基于K-means算法对地图预处理,量化地图的局部复杂度程度,并将局部环境信息融合到状态转移概率函数,使机器人优先选择在复杂程度小的区域进行寻优,减少路径拐点。设定双向搜索规则,改进启发函数,提高算法的局部方向搜索精度和全局搜索效率。针对蚁群算法中蚂蚁遇到U障碍物陷入死锁的问题,提出死锁判
构建三元组时在文本句子中抽取多个三元组的研究较少,且大多基于英文语境,为此提出了一种基于B E RT的中文多关系抽取模型BCMRE,它由关系分类与元素抽取两个任务模型串联组成.BCMRE通过关系分类任务预测出可能包含的关系,将预测关系编码融合到词向量中,对每一种关系复制出一个实例,再输入到元素抽取任务通过命名实体识别预测三元组.BCMRE针对两项任务的特点加入不同前置模型;设计词向量优化BERT处理中文时以字为单位的缺点;设计不同的损失函数使模型效果更好;利用B E RT的多头与自注意力机制充分提取特征完
针对光照不均匀场景,提出了一种自适应图像增强算法。根据Retinex理论,采取中心环绕法,利用高斯连续卷积来提取场景的光照分布情况。同时,统计输入图像低亮度区域的大小。构造了一种自适应伽马矫正函数,取光照分布情况与低亮度区域内亮度值中位数的比值作为参数,对图像进行伽马校正。高光照区域参数大于1,对亮度起抑制作用,低光照区域参数小于1,对亮度起增强作用。将顶帽变换后图像和伽马矫正后的图像叠加。顶帽变
基于异质信息网络的推荐方法已成为当前数据挖掘领域的研究热点.但传统基于异质信息网络的推荐方法多存在可解释性缺失和稀疏不一致性问题,导致无法充分挖掘用户潜在的偏好特征,且有效地进行特征融合.因此,提出了一种在异质信息网络中融合网络嵌入的注意力偏好推荐方法(MFFHINE);利用对称元路径在刻画对象间语义关系上的优势,在对称元路径上随机游走进行网络嵌入来学习用户偏好特征.采用基于注意力机制的偏好权重融合策略将学习到的各个偏好特征有效融合,并将其集成到矩阵分解模型中.通过联合优化矩阵分解模型和融合函数,以进行最
深度卷积神经网络能充分利用特征间的内在联系,提高高光谱影像的可分性,近年来受到了广泛关注。但是,训练深度网络模型对大量标记样本的需求限制了此类方法的应用。将迁移学习思想引入遥感影像分类以减少对标记样本数量的需求。具体研究目标图像中每类只有一个标记样本的情况。通过对目标图像分割得到的同质区扩增目标域的训练样本数量,在此基础上运用深度孪生卷积神经网络减少源域图像与目标域图像的分布差异,实现对目标高光谱
在导弹智能突防的过程中,从海量的遥感图像数据中检测敌方反导阵地具有极大的应用价值。由于弹载部署环境算力有限,设计了一种兼顾轻量化,检测精确率以及检测速度的遥感目标检测算法。制作了典型遥感军事目标数据集,通过K-means算法对数据集聚类分析。利用MobileNetV2网络代替YOLOv3算法的主干网络,保证网络的轻量化和检测速度。提出了适用于遥感目标特性的轻量化高效通道协同注意力模块和目标旋转不变
针对模糊随机环境下智能工厂建设方案优选问题,从智能、产销、辅助3个支持维度设计评估准则体系,考虑区间数准则权重与正态云准则值,提出基于偏差一致性原理与余弦逼近度的新方法.首先,根据正态云与正态随机变量间的关系,将正态云决策矩阵转化为广义正态随机决策矩阵,通过正态云的3σ原则生成区间数决策矩阵;然后,检验区间准则权重向量的合理性和可行性,运用熵权法与偏差一致性原理构建非线性多目标规划模型,求取综合准则权重向量;进一步,基于规范化区间数决策矩阵,考虑各方案与理想方案的方向与位置差异,计算改进型加权区间余弦相似
基于局部特征的图像匹配算法是电力巡线无人机航拍图像匹配算法中最为实用的一种方法。针对传统匹配算法构建尺度空间会致使图像边缘信息丢失或者效率较低等问题,提出一种基于高斯曲率尺度空间的航拍图像匹配算法。借助高斯曲率滤波器构建一阶尺度空间,利用FAST算法提取特征点并选择特征采样区域,再以对特征采样区域建立二阶尺度空间并提取二阶尺度空间层内LIOP描述符,随后二阶尺度空间两两层LIOP描述符做差值并二值
针对传统机器学习方法在处理不平衡的海量高维数据时罕见攻击类检测率低的问题,提出了一种基于深度学习的随机森林算法的入侵检测模型,为了避免传统的随机森林面对高维数据和不平衡数据时分类精度低、稳定性差和对罕见攻击类检测率低的问题,引入生成式对抗网络(GAN)和栈式降噪自编码器(SDAE)对随机森林算法(RF)进行改进.将罕见攻击类数据集输入GAN神经网络中,生成新的攻击类样本,改善网络入侵数据在样本集中不均衡分布的情况,通过堆叠深层的SDAE逐层抽取网络数据的分布规则,并结合各个编码层的系数惩罚和重构误差,来确
针对单变更传播路径搜索方法面向多变更的不适用问题,提出多变更传播路径并行搜索方法.首先,基于构建的零部件网络模型,提出变更风险指数,作为路径优化的重要指标;其次,依据多变更传播路径的干涉特征,划分串行、分裂、合并3种基本传播形式,提出变更影响求解方法;基于此,提出下行变更传播路径搜索算法、约束变更传播路径搜索算法两部分组成的多变更传播路径并行搜索模型.最后,通过实例验证了所提方法的有效性和可行性.