限定场景下图像语义理解及分割的研究与应用

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:liulang75281899
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像语义分割技术其目的是为图像中每个像素分配类别标签,由于此项技术与无人驾驶等多种智能应用密切相关,因此成为了计算机视觉中一个研究热点。深度学习的迅速发展推动语义分割领域的研究取得突破性进展,使用卷积神经网络进行语义分割的方法效果远远好于其他方法,通过不断探索及研究该领域中深度学习算法后发现:卷积神经网络中大量的卷积和池化操作缩小了图像的分辨率,导致像素一定程度上失去了空间信息,并且由于神经网络以像素为单位进行特征提取及学习,缺少对图像的整体理解,现有网络在物体所属类别的分类上表现仍然有所欠缺。基于以上问题,本研究使用场景上下文编码模块,通过对自然场景中图像所包含的场景信息进行编码学习。该方法图像分割与图像中的场景紧密的联系起来,从全局理解图像的语义并且利用图像场景中的图像语义信息来指导语义分割任务。从而使得整体的像素分类更加合理,分割结果更加准确,具体的研究内容如下:(1)本研究提出了基于限定场景上下文编码的语义分割网络,网络中融合了一个场景编码模块。利用图像中的场景信息对理解图像中像素的对象类别提供帮助,并且能够通过场景信息将图像像素的类别分类限制在符合场景信息的类别上。(2)通过对图像场景信息的理解,场景信息不仅能够指导网络完成图像的语义分割任务,还能在场景的分类任务上有所贡献。因此本研究利用场景编码模块,设计了一个多任务卷积神经网络,可以同时达到场景分类和图像分割的目的。(3)除了语义分割通用的评价指标外,本研究提出了使用梯度向量直方图对分割图像进行分析,将实验的分割结果与真实标签图像的分析结果进行比较,利用分析结果的相似性更加直观的反应最终模型的性能。本研究在Py Torch框架下使用ADE20K数据集进行网络的训练及验证,在分类任务中重新整理了数据集中的分类标签进行学习。训练后的网络模型得到了78.96%的像素准确率及42.54%的像素交并比,并且能够在场景分类任务中获得70.80%的Top-1准确率及87.90%的Top-5准确率。证明了利用场景信息能够减少在语义分割中不合理类别出现的概率,使图像整体分割效果更加理想,同时能够实现对场景的分类任务。
其他文献
非编码RNA之间相互调控机制在很多动植物生命活动中发挥着重要作用,如细胞生长、分化和增殖。目前,在动物和人类疾病方面,miRNA与lncRNA互作关系的研究相对较多,它为动物和人
互联网的诞生改变了人们的生产生活方式,它从方方面面影响着人类的进步。然而网络中的流量逐年递增,多媒体数据的占比也越来越大,IP网络中存在着大量的冗余传输,导致网络效率降低,逐渐成为了网络发展的瓶颈。从电话网络发展而来的传统网络主要是面向连接的网络,在两台静态主机之间资源共享,而现如今已经由这种通信方式逐渐向网络中共享信息数据发展。信息中心网络的提出有效改善了传统IP网络中许多的弊端,它将信息与位置
甲硝唑是一种典型的抗生素药物,较易溶解在水中且难以被微生物降解,长期滞留在环境中会对人体造成危害。以二氧化铅电极为代表的电化学氧化方法可以高效地去除水中的甲硝唑,为水中甲硝唑的治理提供可行途径。但是二氧化铅电极镀层易脱落,并且电流效率不够高,使其电催化活性大大降低,需要通过改性克服上述缺点。本论文在含有硝酸铈、硝酸铋、碳纳米管的电镀沉积液中通过电化学沉积方法制备硝酸铈/硝酸铋/碳纳米管改性二氧化铅
马来西亚的建筑业是最重要的产业之一。它在发展和文明中起着重要的作用。此外,工程保函在建设项目中也起着重要的作用。工程保函一般是三方之间的协议:业主、承包商和第三方
在采集图像的过程中,受到各种因素的干扰,导致图像质量下降的这种现象称为图像退化;如果存在多种类型的降质因素,如噪声、畸变、离焦、抖动等,这时称为多重退化。图像复原是
目的:应用Revolution CT一站式冠状动脉CT造影+心肌灌注成像,分析NLR、hs-CRP与高海拔人群冠脉狭窄和心肌灌注的相关性,并探究Revolution CT一站式成像评估冠脉形态结构和心肌灌注的价值。方法:收集行Revolution CT一站式CCTA+MPI检查的高海拔人群92例,记录年龄、性别、民族、海拔等一般资料及3日内的NLR、hs-CRP值。根据CCTA结果进行Gensin
顾客感知价值被认为是能够促进消费者品牌忠诚、提升企业竞争力和影响企业长足发展的重要因素,受到了广泛的关注和重视。而口碑营销作为消费者自发的、宣传费用低且针对性较
深度卷积神经网络在机器视觉的各个领域都取得了显著的效果,在图像识别、语义分割、行为检测、图像跟踪等任务上,获得了超过人类能力的性能表现。高性能的网络模型往往对硬件
热电材料是一类能够在热能和电能之间实现直接相互转换的新型能源材料。现如今传统能源日渐枯竭,温室效应和环境污染亟待控制。以热电材料作为核心元件的热电器件拥有稳定、
扶贫开发与我国“两个一百年”重要目标的实现有着密切联系,关系着千万贫困人口的生计。目前,我国的扶贫开发工作虽然取得了不错的成绩,但扶贫形势仍然比较严峻。精准扶贫的