基于深度学习的弱监督图像视觉语义理解方法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:xqxcb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像视觉语义理解是图像处理任务中的研究热点。现有基于深度卷积神经网络的图像视觉语义理解方法,往往需要使用大量包含详细目标轮廓的细粒度标注数据。然而,这些详细标注数据的获取需要耗费大量时间和经济成本,限制了图像视觉语义理解方法的性能提升及其在复杂场景下的泛化能力。针对这一问题,研究人员放宽训练数据的标注精度,提出采用图像级标注数据来训练弱监督视觉语义理解模型。然而,图像级标注仅能提供图像中目标的类别,缺少目标位置及轮廓信息,使得弱监督图像视觉语义理解方法在复杂自然场景下的实现成为新的难点。本文主要针对图像视觉语义理解中的语义分割和目标检测两个任务开展深入研究,在图像级标注数据监督下,优化网络结构,实现对目标较为完整的位置轮廓信息挖掘。本文的主要工作和贡献如下:(1)提出基于空洞卷积像素关系的弱监督图像语义分割方法。针对图像级标注数据训练的模型只关注图像中目标判别性区域而导致的像素级伪标签不完整的问题,在分类模型中引入多空洞率的空洞卷积单元以及自注意力机制,在扩大感受野的同时自适应地增强目标区域并抑制其他不相关区域,生成高质量的像素级伪标签,进而训练语义分割模型。实验结果表明,该方法能够有效改善伪标签精度,在PASCAL VOC 2012的验证集和测试集分别达到了65.3%和66.2%交并比的良好性能。(2)提出单阶段注意力引导增强弱监督图像语义分割方法。针对两阶段弱监督语义分割方法导致的模型训练复杂度增加问题,将分类模型与分割模型融合至同一框架,在图像级标注的监督下,以端到端训练的方式直接生成分割图。提出注意力引导模块,以自底向上的方式指导模型学习空间和语义信息。同时,提出上下文注意力模块,捕捉网络模型不同层之间产生的特定类特征图之间的远程上下文依赖关系,自适应地增强对象区域并抑制噪声的产生。实验表明,该方法相比于其他端到端的弱监督语义分割方法在分割准确性上有明显提升,在PASCAL VOC 2012的验证集和测试集分别实现了66.1%和66.3%交并比的分割性能。(3)提出基于候选区域自监督注意力学习的弱监督目标检测方法。在图像级弱监督下,大多数目标检测方法只能检测出图像中的显著目标部分,并且对同一图像不同仿射变换的检测结果不稳定。为解决以上问题,提出自监督注意力学习模块,通过一致性正则化损失减少原始特征注意力图与均衡注意力图之间及其仿射变换产生的注意力图之间的差异。在候选区域选择阶段,自适应选择高置信度目标候选区域作为正例,同时只选择特定类别的目标候选区域作为难负例(Hard Negative),从而促进弱监督检测模型训练。实验结果表明,该方法提出的各个模块对检测小目标以及多个相邻同类别目标等方面的性能均有明显提升,在PASCAL VOC2007和PASCAL VOC 2012数据集上分别获得了54.8%和53.4%的平均精度均值,以及72.6%和71.4%的正确定位率。综上所述,本文针对弱监督图像视觉语义理解中语义分割和目标检测任务展开研究,提出相应的模型和方法,对后续弱监督图像视觉语义理解方法的研究具有一定的理论意义和广泛的应用价值。
其他文献
钢铁行业是我国工业的主要支撑,在我们的日常生活中发挥着重要作用。我国自2014年提出经济新常态起,钢铁行业就积极寻求生产模式的转变与创新。但与此同时,作为我国重污染行业,其产生数量庞大的污染物给环境保护带来了巨大的阻力。此前我国征收的排污费由于执法强度不足导致实施效果欠佳,对此,我国于2018年1月1日正式开征环境保护税。在此背景下,文中通过分析华菱钢铁公司的案例,以征收环境保护税的时间为分界点,
目前,在高维线性回归变量选择模型中有许多基于非凸罚函数的变量压缩方法,例如SCAD惩罚和MCP的惩罚,它们被证明具有oracle属性。但是,即便使用了变量压缩方法,高维变量选择最终得到的模型仍然有数量相对丰富的变量,因此可能错误地选择了许多噪声变量。稳定性选择是一种改善非凸惩罚函数线性回归变量选择的方法,可以控制错误选择噪声变量数量的期望,同时也为模型结构选择提供一种更加简明的准则。在参数方面,参
税收制度是一个国家或经济体在特定的历史时期内,根据自身的政治、经济、社会、文化等各维度的具体发展状况,制定的各种税收法规制度的总称,是国家、地区经济体制的重要组成部分。恰如其分的税收制度对于一个经济体的长远健康发展具有重要意义。在我国,增值税作为税制结构的重要组成部分,自1994年分税制改革以来,一直稳居我国的第一大税种。增值税税制改革、税率变动,不仅影响整个宏观经济走势,更是微观企业调整经营目标
小微企业在中国市场经济社会发展过程中起着十分重要的作用,在促进经济增长、实现劳动力就业和促进创新等方面都具有积极意义,但是它们在市场经济中仍然处于相对弱势地位,特别是投资方面,一方面它们很难寻找到合适的项目进行投资,或者说它们有合适的项目但缺少资金进行专项投资。在这种情况下,小微企业的发展面临着瓶颈。而近年来,中国制定了不少相关税收扶持政策,比如不断地放宽了可以享受税收优惠的“小型微利”企业的认定
十九大报告提出,要推动经济发展质量变革、效率变革、动力变革,提高全要素生产率,新常态下如何提高企业全要素生产率是学者们关注的重点。2013年利率市场化改革以来,我国银行价格竞争程度总体呈上升趋势,银行作为金融发展的核心体系,其价格竞争是否促进了企业生产率的提升也是我们关注的重要内容。本文以123家银行为样本,以我国290个地级市每年每家商业银行分支机构数量为权重计算基于地级市层面的银行价格竞争指数
创新是推动社会发展的重要动力,加强企业的研发投入和创新水平,提升企业的创新能力,一直是我国致力推行的政策。本文定义专利倾向为企业的专利占研发成果的比例,一方面企业的专利倾向不仅受到市场因素影响,而且还受到自身个体因素影响,另一方面企业的专利倾向会对企业的创新活动产生影响。因此,估计出企业的专利倾向,对于更加全面的分析企业创新活动传导机制,有着重要意义。本文以2000-2019年我国2686家制造业
目前,中国工业化正逐步转向高质量发展,在关注经济效益的同时也加大了对生态效益的关注。环境保护税一直是国内外学者研究的重点,2018年排污费改征环境保护税正式实行之后将绿色税收相关研究推向了新的高潮。随着知识经济时代的到来,加强技术创新是顺应时代发展的必然要求,所以排污费改征环境保护税对技术创新的影响更是时下研究的热点。本文基于2016-2019年中国制造业A股上市公司的面板数据,采用双重差分模型评
随着我国经济进入新常态,全要素生产率成为衡量我国未来经济发展的重要指标,寻求可持续增长动力成为现阶段我国的主要目标。为了促进企业的创新发展,国家通常会运用税收政策,固定资产加速折旧政策便是一项重要的税收优惠政策并且日益完善。2014年开始,国家陆续颁布了财税[2014]75号及财税[2015]106号两大重要文件。本文主要研究2014年加速折旧新政对企业全要素生产率的影响和其作用机制。首先,本文从
由于我国长期存在着城乡二元经济结构,城镇地区与农村地区的消费水平仍存在着较大的差距。缩小城乡消费差距有利于促进城乡协调以及经济平稳健康发展。数字普惠金融借助数字信息技术,可以打破传统因素的局限更便捷地提供惠及社会各阶级的金融服务,使城乡金融资源分配不均的问题得到缓解。研究数字普惠金融对城乡消费差距的影响,对缓解我国城乡二元经济结构、为社会经济发展挖掘新的发力点及满足人们美好生活的需求都有着重要作用
随着经济社会的发展,中国居民对文化娱乐产品的需求不断上升,有关政府部门也相继出台相关政策进行帮扶,影视传媒行业步入了高速发展的时期。影视传媒企业的发展壮大,随之而来的企业间的融资、并购和重组等经济活动越来越频繁。同时,由于影视传媒企业具有无形资产隐性价值高、业绩不稳定以及创新地位突出等特点,使传统三大企业价值评估方法在这类企业价值评估适用性上出现问题。因此,如何对影视传媒企业进行合理估值成为亟待研