轻量级卷积神经网络的架构研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:xczsb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着人工智能的新一轮复兴,计算机视觉领域迎来飞速发展。卷积神经网络作为计算机视觉领域的基础模型之一,是当前许多计算机视觉领域研究和应用的基石。卷积神经网络模型性能的优劣直接决定了目标检测、图像语义分割、人脸识别、视觉问答等其他计算机视觉任务的上限。卷积神经网络模型性能的提升,可以带动与之相关的所有计算机视觉系统的进步。卷积神经网络模型是最近几年的研究热点之一。卷积神经网络经过多年的发展,已经从片面追求高准确率的大规模网络逐渐过渡到研究更加适应实际应用问题的轻量级的模型和架构。轻量级的卷积神经网络旨在保证达到与大型网络模型准确率相当的前提下,大大降低网络的规模、减少模型的训练时间和预测时间,使模型甚至可以在内存和计算资源都十分有限的嵌入式设备上运行。轻量级的卷积神经网络可以促进更多的计算机视觉领域的研究应用到工业界的产品和服务中。本文主要从卷积分解的角度出发,研究如何构建轻量级的卷积神经网络。我们认为卷积分解是轻量级卷积神经网络发展的核心思想,本文从空间学习和通道间关系学习的解耦角度重新解释了几个重要的轻量级卷积神经网络。当前轻量级卷积神经网络的主要模块之一是深度卷积,深度卷积是对空间关系学习的解耦,但却是当前轻量级卷积神经网络的性能瓶颈。本文针对可以高效替代深度卷积的Shift模块和主动Shift模块表示能力的不足,提出了性能更好、更加高效的多重主动Shift模块。本文的主要工作可以总结为以下三个方面:第一,从标准卷积的空间关系学习和通道间关系学习解耦的角度,系统地解释了轻量级卷积神经网络的主要发展思想。第二,介绍了可以替代空间卷积的Shift算子和主动Shift算子,证明了Shift模块与加入了卷积核稀疏性限制的标准卷积的等价性,并从卷积分解融合的角度解释了Shift模块。第三,针对Shift模块和主动Shift模块对标准卷积近似度的不足,提出了可以调节与标准卷积近似程度的多重主动Shift模块,并在CIFAR10/100和ImageNet 2012数据集上验证了使用多重主动Shift模块构建的MASNet在速度和准确率等方面的优势。
其他文献
商业企业短期销售利润实用预测方法李宝仁短期销售利润预测是商业企业短期经营决策的主要依据之一,是企业制订月度或季度销售计划的重要依据。由于期限短,因此,要求预测具有较高
<正>教育的目的就在于促进人、促进人的主体性的发展。思想政治课焕发生机和活力的前提是尊重学生的主体地位,充分发挥学生的主体作用。本文对高中政治教学中学生主体性的培
目的颈动脉内中膜厚度是定量评价心血管疾病的核心指标之一。本文提出一种半自动基于超声影像的测量颈动脉内中膜厚度的计算机辅助方法,并在分割算法中引入了符合超声影像的R
本文考察了胡塞尔的现象学、维特根斯坦的语言哲学、海德格尔的存在主义、列菲伏尔的西方马克思主义及东欧新马克思主义的主要观点,认为这些在20世纪具有代表性的重要哲学流
卡夫卡作为西方现代主义文学的代表作家,为后人留下了含义丰富的作品,影响了一代又一代作家的创作。他既是生活上的弱者,高喊着一切障碍都在摧毁我的口号;又是精神上的强者,以
班会课是德育的主阵地之一,它能加强学生思想交流、促进学生自我管理、推进集体健康发展,具有很高的教育实效性,理应引起班主任足够重视。然而,其现状却不容乐观,往往流于形
本文以苏州工业园区创意园景观设计方案为例,论述了现代艺术其中之一分形艺术的定义,以及分形艺术对现代景观的影响和分形景观的艺术特征。
通过对手机参与大众新闻传播实践历史的考察,本文对"移动新闻"这一概念进行了正本清源,并指出移动新闻这一依托于全新媒介技术的新闻形态主要在传播情境、传播平台以及生产方
<正>近日,我认真阅读了湖南省长沙市一中胡军哲老师的新作《杏坛爬梳——来自一线的历史教育思考》一书(岳麓书社2011年3月出版,以下简称《杏坛爬梳》),收获颇丰。以前曾在《
随着人们生活水平的不断改善,奶产品在整个国民经济中所占的地位日益提高。为了提高产奶量,往往在奶牛饲粮中添加大量高精饲料,这样做虽然在一定程度上提高了奶牛的产奶性能,