基于新式效率卷积的卷积神经网络设计

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:CBN_cntjlz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能是人类未来发展的重要方向,而深度学习便是其中最为著名的研究方向之一。深度学习的出现促进计算机视觉、自然语言处理、推荐算法等多个领域的发展,同时也辅助人们在生物,医学等领域的研究。作为当下最为流行的研究方向之一,深度学习模型的效率却并不让人满意,这导致深度学习模型往往需要部署在昂贵计算成本平台上而非嵌入式设备或者手机等这类低计算成本平台。这限制深度学习的广泛应用。如何提升神经网络效率是一个非常有意义的问题。在加速深度学习模型推理速度的研究队伍中,存在一部分研究者从模型结构方面下手,通过优化模型结构来减少不必要的浮点计算,进而实现加速模型推理的目的。这类方法称作效率神经网络结构设计,其中主要包含三类子方法:模型剪枝、效率架构以及神经架构搜索。而本文提出的方法是属于效率架构这类子方法。本文提出一种新式的效率卷积——组共享卷积,其通过对输入特征分组,使组内特征共享同一卷积核来降低卷积的浮点运算量。然而,所有效率卷积提升效率的同时必然存在缺陷,而组共享卷积作为其中之一,也不可避免会陷入组内信息趋同的困境。为克服这个缺陷,本文通过组合不同效率卷积,从而对不同效率卷积取长补短,最终组合出一种新式的模型单元,之后在该模型单元为基础情况下,构建一种新的效率网络架构——Shared Net。在著名大型数据集Image Net上,Shared Net实现手动设计效率模型中最好的结果(73.06%)。然而Shared Net在效率和性能上都有所不足,一方面是因为模型单元未能细化每个卷积的功能,另一方面在于模型架构方面也与主流架构的网络有所差距。因此,关于模型单元,本文主要参考Mobile Net V3单元和Shuffle Net单元设计出正向共享残差瓶颈以及逆向共享残差瓶颈;关于模型架构方面,本文主要参考Mobile Net V3架构设计出新式效率卷积神经网络——Shared Net V2,其在Image Net数据集上超越Google的Mobile Net V3以及华为诺亚方舟实验室的Ghost Net,取得76.03%的准确率。
其他文献
在移动互联网及电子商务快速发展背景下,O2O电子商务作为一种新的经济运行方式正不断扩大。O2O市场的快速发展使得越来越多的O2O电商企业将目光对准了供应链,欲通过对供应链的良好管理提高企业竞争力。在运营供应链的过程中,存在着多种风险因素,如供应链组织结构复杂多变、管理人员风险意识不足、以及技术手段日新月异等问题,O2O电商企业供应链的风险仍层出不穷。目前政府和企业对供应链风险问题管理主要聚焦在风险
公路隧道是公路交通基础设施的重要组成部分,裂缝是隧道中比较常见且危害较大的一种病害。及时有效地检测出隧道裂缝对隧道后期的养护与维护具有重要意义。基于数字图像处理的裂缝检测技术,克服了传统人工检测和仪器检测的缺点,为隧道的日常养护以及危害评级奠定了基础。此外,由于公路隧道裂缝与固有衬砌缝的形态相似,衬砌缝去除算法在裂缝检测领域有着广阔的应用前景,具有十分重要的理论意义和实用价值。本文深入研究如何去除
云计算任务调度策略直接影响整个云平台资源使用效率和云平台用户满意度,同时云计算任务调度属于完全NP问题,因此任务调度算法一直是云计算领域的研究难点和热点。目前,云计算任务调度算法主要分为传统算法和智能启发式算法。传统算法更偏向于单指标优化。智能启发式算法,从云平台角度出发对任务完成时间、任务完成成本等进行优化;从用户角度出发,提高用户服务质量;但是这些算法没有综合考虑用户服务质量和云平台负载情况。
数控机床被视为“工业航母”,是当代制造业的核心机械设备。数控机床的动力学特性与其结构的工作性能紧密相关。随着现代数控机床朝着高速、高精度和高可靠性的方向发展,高速铣削因其高生产率和灵活性而被越来越多的制造企业采用,有关机床动态性能的研究也越来越重要。目前数控机床动力学特性参数辨识方法主要有有限元分析法、试验模态分析法及运行模态分析法。但是,机床在加工状态下的动态特性与静态状态之间存在一定差异。利用
数字图像相关法(Digital Image Correlation,DIC)是一种用于全场变形测量的光测力学方法,因其具有操作简单、测量精度高、非接触式、全场测量等优点已然成为科研和工程的热门研究对象。二维DIC技术在测量精度、计算速度和适用性上都相当的成熟,但是在航空航天、精密加工、高端制造业等领域必须依靠三维DIC技术才能完成相关测量。然而现有三维DIC技术是通过对散斑点云的重构来实现变形测量
石墨烯由于其优异的力学、热学、电学、磁学和声学性能,使得其在高性能纳电子器件、复合材料、场发射材料、气体传感器、能量储存等领域获得广泛应用。因此,对石墨烯力学性质的全面掌握和深层次理解对石墨烯为代表的新型二维材料的发展与应用具有不可替代的作用。对于其性质的研究,使用分子动力学仿真计算方法需要占用大量的资源。基于Cauchy-Born准则的连续性介质力学方法,可以有效的降低计算时间,使得石墨烯能够更
随着世界和我国的电子科技和互联网技术的快速进步和发展,以及现代智能手持通信设备的普及,新浪微博因其低门槛和自由的信息传播特点,已经变成了现代人们获取信息以及分享生活的一个平台,当用户想发表自己的看法或者观点时,可以通过微博来发表,他们也可以转发、关注和评论其他用户的微博。微博已经成为了突发事件舆情传播的重要工具和载体,在舆情传播中发挥着重要的作用。如何准确地发现那些在突发事件微博中引发的舆情观点和
传统人机交互技术很大程度依赖于鼠标、键盘等输入设备,这些交互设备限制了交互的速度和自然性,已经无法满足用户的更多智能交互需求。手势交互具有简单、形象和直观等特点,因而广泛应用于各种新型交互场景。但现有手势技术无法实现三维空间文本输入操作,传统手写识别输入依赖触摸板,语音交互也仅能满足部分操作需求,不能完全胜任三维空间文本输入的工作,急需新的交互方式来实现三维空间文本输入。空中手写识别允许用户以自然
机器学习领域中,原始训练集中的噪声一般分为属性噪声和标签噪声,大多数情形下,标签噪声的危害大于属性噪声,并且会严重影响分类器的验证准确性。为了消除标签噪声的负面影响,主要是基于过滤器或基于鲁棒算法过滤标签噪声,据此有人提出了一种基于完全随机森林的标签噪声滤波学习(CRF-NFL)框架,这个滤波框架使用完全随机森林(CRF)作为过滤器。CRF-NFL框架除了可以有效地滤除标签噪声外,也可以结合各种分
心电图(ECG)是临床实践中使用最广泛的生理信号,用于诊断心律失常和心肌梗塞等心血管疾病。对于心电图,医生人工解释非常耗时,并且难以检测长期心电图或动态心电图记录中的细微变化。因此,使用计算机辅助诊断(CAD)系统自动识别心律失常是研究的热点,能够有效地降低心脏病患者的死亡率。在心电信号预处理方面,因为有效的去噪方法可以对心电信号进行良好的预处理,所以ECG去噪一直是有关研究的主要领域之一。经过去