【摘 要】
：
针对关系型知识蒸馏方法中教师网络与学生网络的层数差距过大导致蒸馏效果下降的问题,提出一种基于关系型蒸馏的分步神经网络压缩方法.该方法的要点在于,在教师网络和学生网络之间增加一个中间网络分步进行关系型蒸馏,同时在每一次蒸馏过程中都增加额外的单体信息来进一步优化和增强学生模型的学习能力,实现神经网络压缩.实验结果表明,本文的方法在CIFAR-10和CIFAR-100图像分类数据集上的分类准确度相较于原始的关系型知识蒸馏方法均有0.2％左右的提升.
【机 构】
：
西安工程大学 计算机学院, 西安 710048
论文部分内容阅读
针对关系型知识蒸馏方法中教师网络与学生网络的层数差距过大导致蒸馏效果下降的问题,提出一种基于关系型蒸馏的分步神经网络压缩方法.该方法的要点在于,在教师网络和学生网络之间增加一个中间网络分步进行关系型蒸馏,同时在每一次蒸馏过程中都增加额外的单体信息来进一步优化和增强学生模型的学习能力,实现神经网络压缩.实验结果表明,本文的方法在CIFAR-10和CIFAR-100图像分类数据集上的分类准确度相较于原始的关系型知识蒸馏方法均有0.2％左右的提升.
其他文献
在软件定义网络(Soft ware-Defined Networking,SDN)中,由于配置策略的改变导致控制器需要对多个交换机中的流表项进行更新时,会出现更新不一致的情况.其内在原因是控制器无法同时对所有交换机完成更新,不同的更新时延会导致网络状态在逻辑上的不一致,从而影响数据报文的正确转发.针对分类时序更新方案应用场景适用性差和更新时延长,最优化更新方案计算复杂度高等问题,本文在两者的基础上,提出基于分类搜索的无环更新一致性方案(Categorical Search based loop-free
API相关的知识通常分散隐含在多个信息源,如API参考文档、问答网站等非结构化的文本中,不利于API的查询与检索.为此,提出一种多源信息融合的API知识图谱构建方法,以提高API检索的效率.API参考文档从设计者角度描述了API的功能和结构,Stack Overflow问答网站从用户角度提供了API的使用目的及应用场景,二者互为补充,可共同为API查询与检索提供支持.通过分析API参考文档,抽取API和领域概念作为实体,构建API和领域概念之间的关联关系;利用Stack Overflow问答网站,抽取问答
为克服传统BP神经网络(BP Neural Network,BPNN)在销售预测中,预测精度低、收敛速度慢的缺点.提出了一种基于改进免疫遗传算法(Improved Immune Genetic Algorithm,IIGA)优化BP神经网络的销售预测模型.改进的免疫遗传算法提出了新的种群初始化方式、抗体浓度的调节机制及自适应交叉算子、变异算子的设计方法,有效的提高了IIGA的收敛能力和寻优能力.并用IIGA优化BPNN的初始权值和阈值,改善网络参数的随机性导致BPNN输出不稳定和易陷入局部极值的缺点.以某
针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的“立体式”布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经
人工智能促进了风控行业的发展,智能风控的核心在于风险控制,信贷违约预测模型是解决这一问题必须倚靠的手段.传统的解决方案是基于人工和广义线性模型建立的,然而现在通过网络完成的交易数据,具有高维性和多重来源等特点,远远超出了现有模型的处理能力,对于传统风控提出了巨大的挑战.因此,本文提出一种基于融合方法的可解释信贷违约预测模型,首先选取LightGBM、DeepFM和CatBoost作为基模型,CatBoost作为次模型,通过模型融合提升预测结果的准确性,然后引入基于局部的、与模型无关的可解释性方法LIME,
传统粒子群优化算法容易陷入局部最优解,搜索效率不高,针对此问题,提出了一种基于种群关系和斥力因子的多种群粒子群优化算法SRB-PSO (Swarm-Relation-Based PSO).根据当前搜索结果定义种群之间统治、对等和被统治3种关系,通过引入斥力因子来保证种群间搜索的多样性,并通过统治和被统治关系提高算法的搜索效率,从而在改善算法的全局搜索性能的同时提高解的质量.将算法与其他几种主流粒子群优化改进算法在标准测试集上进行对比,实验结果证明了SRB-PSO算法能较好地保持粒子多样性,全局搜索能力强,
情绪识别作为人机交互的热门领域,其技术已经被应用于医学、教育、安全驾驶、电子商务等领域.情绪主要由面部表情、声音、话语等进行表达,不同情绪表达时的面部肌肉、语气、语调等特征也不相同,使用单一模态特征确定的情绪的不准确性偏高,考虑到情绪表达主要通过视觉和听觉进行感知,本文提出了一种基于视听觉感知系统的多模态表情识别算法,分别从语音和图像模态出发,提取两种模态的情感特征,并设计多个分类器为单特征进行情绪分类实验,得到多个基于单特征的表情识别模型.在语音和图像的多模态实验中,提出了晚期融合策略进行特征融合,考虑
判断有向图上两个顶点之间是否存在一条路径是一个经典问题,而对于一些路由规划和图分析等实际应用,要求查找是否存在跳数受限的可达路径,这是一个变种的图可达查询问题.对于大图上跳数受限的查询算法,不仅仅要对大图查询的时间效率和空间效率进行权衡,而且还要利用跳数受限的特性进行优化.普通的可达查询算法存在小度数顶点索引项占用空间过多的问题,造成空间浪费严重.为此我们提出了一种面向跳数受限的2-hop部分索引方法,采用改进的索引方法并结合局部搜索,实现跳数受限的有效可达性查询.实验结果表明,在Orkut社交网络数据集
本文基于祖冲之(ZUC)算法,设计实现了一种可分离加密图像可逆水印算法,算法中内容所有者先进行图像标记并生成位置图,然后使用ZUC加密算法加密载体图像;水印嵌入者得到加密图像后根据位置图将水印信息嵌在选中像素的第7位或第8位;接收者根据加密密钥和嵌入密钥可以得到直接解密图像、水印信息和恢复图像.算法使用ZUC算法对图像进行加解密,很好地保证算法的安全性;在嵌入水印信息之前对图像进行标记,将水印信息嵌在选中的位置上;接收者在利用相邻像素相关性基础上通过一种自适应差值算法实现水印提取和图像恢复,保证恢复的载体
车道线检测是无人驾驶任务中最重要的模块之一.由于车道线具有独特的结构,且容易受到各种各样复杂环境(比如光线、遮挡、模糊等)的影响,因此车道线检测也是一项很具有挑战性的任务.传统的卷积神经网络(CNN)难以直接学习到精细的车道线空间特征,本文使用空间特征聚合模块对CNN提取的特征在空间维度进行融合增强,为级联的车道线预测器提供了丰富的空间特征信息.实验证明,空间特征聚合模块通过聚合水平和垂直方向的特征图获取精细的全局信息,在多种复杂环境下都能提升车道线检测算法的性能,且不会影响检测的速度.