基于机器学习方法的图像分割技术研究 ——一种多分支全景分割网络模型

来源 :东南大学 | 被引量 : 0次 | 上传用户:yaodanmeidan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像内容理解是计算机视觉领域重要的研究目标。分割,尤以细粒度图像分割,是实现图像内容理解的一个重要途径。全景分割,作为细粒度图像分割任务中的一种,可以帮助计算机更全面的理解图像中每一类物体的位置、形状等信息,它的有效解决,将有助于自动驾驶、行为识别等多个问题的发展。本文主要着眼于神经网络建模、针对全景分割问题的计算机视觉方法研究。更具体来说,是通过对数字图像进行像素点级别的分类实现对图像中物体的识别及类别的分类。本文所提出模型的输入是一幅幅未经处理未打标签的原始数字图像,输出是每个像素对应的物体标签以及实例标签。本文的研究目标是找出一种神经网络模型,能在当前公认的全景分割评价指标下,有效且高效完成从输入到输出的分类过程。本文设计了一种多分支的深度神经网络模型。该模型由多尺度特征提取、语义内容分割、实例信息预测、共识掩码回归、多分支内容组合等多个步骤组成。针对全景分割问题中普遍存在的两类冲突矛盾问题给出了一个有效的解决方案。设计了一系列实验,通过与现有其他研究的对比,以及各个模块相关剥离实验的分析,验证本文所设计框架可以有效的提升分割质量。本研究在全景分割领域共有以下四个主要创新点:(1)提出了一种新的多分支端到端的全景分割深度网络架构,通过与基准线模型在内的六种现有模型的对比,验证本模型的设计在准确率上大为提升,达到目前的先进水平。(2)设计了一种共识机制,引入了一个独立的新分支来计算共识掩码,作为对其他分支结果间存在的像素点分类冲突进行解决的一个重要依据。剥离实验相关子实验验证其对全景分割中的像素分类冲突问题是有效的。(3)设计了一种指导机制,利用语义分割与实例分割间的联系,在前景背景两个分支间引入注意力,用较高准确率分支指导较低准确率分支进行分割。剥离实验验证此设计可以有效的利用实例分支来指导语义分支学习并提高语义分支的分割精度。(4)提出了新的融合算法,设计的融合模块配合精心设计的损失函数,有效地整合了多分支与融合模块。
其他文献
人脸属性编辑旨在操纵面部图像的单个或多个属性,生成具有所需属性的新面部图像,同时保留其他原始细节,在智能监控、娱乐社交等诸多领域有着广泛的应用需求。传统的人脸编辑需要借助专业的图像编辑软件完成,但由于普通用户往往缺少专业的图像编辑技能,因此这种方式并不符合大多数普通用户的需求。目前很多公司推出了针对性的人脸编辑应用,例如美图公司出品的美图秀秀,字节跳动推出的激萌和轻颜相机等。这些产品在一定程度上满
由于政治经济发展、医疗水平提升以及计划生育等政策,中国社会已经自2000年开始正式进入人口老龄化阶段。2019年11月22日附近,中共中央、国务院印发了《国家积极应对人口老龄化中长期规划》。为响应规划的号召,为可敬可亲的老年人开发助老服务机器人产品是一种很好的服务,语音交互作为十分方便、快捷、易于操作的人机交互方式势必会应用于其上。本文研究语音交互技术中的“嘴巴”部分——语音合成系统,提出了语音合
随着社会发展,人们学习与工作压力增大,脊柱畸形发病率也日趋升高,且呈现发病低龄化趋势。脊柱畸形会对人类的生理和心理造成严重伤害,对处于身心发育期的青少年危害尤为严重,因此,推广脊柱畸形检测与筛查具有极大社会价值。当前的检测手段有两大类:放射性与非放射性脊柱形态检测。放射性脊柱形态检测精确度较高,是目前医学上常用的检测手段,但是会对患者造成过量辐射,增加患者罹患癌症等相关疾病的概率。针对脊柱畸形多发
类人机器人在结构、感知、动作等方面与人类具有相似性,其研究涉及机械、控制、计算机等多个学术领域,是一个值得深入研究的方向。RoboCup是以击败人类足球世界杯冠军为目的机器人世界杯,该项目推动了机器人技术,特别是类人机器人技术的发展。本文基于SEU_Uni Robot类人足球机器人,优化设计并实现应用于RoboCup类人KidSize组别的上层控制系统。本文在提出上层控制系统总体方案的基础上,详细
近年来,因机器人在工业制造、深海探测以及航天航空等领域内发挥着重要的作用,其控制问题亦成为学术界的研究热点之一。本文将非奇异终端滑模、自适应技术以及有限时间稳定性理论相结合,研究了n关节刚性机械臂系统的轨迹跟踪控制问题。本文主要工作概括如下:(1)针对包含内部不确定和外部干扰的n关节刚性机械臂系统,基于非奇异终端滑模实现对参考轨迹的跟踪。首先,提出了一种包含反正切函数的新型非奇异终端滑模(ATNT
移动机器人作为新世纪智能化关键载体,已逐渐在工业、服务业、农业和航天等领域得到了广泛的运用。随着任务需求以及环境多样性的增加,移动机器人的研究不断面临新的挑战,尤其是其自动化和信息化。本文基于MT-R型移动机器人平台研究移动机器人的导航与抓取问题,具体内容如下:(1)基于单目视觉研究机器人的目标识别与测距算法。依据小孔成像模型利用张氏标定法对摄像机标定,获取相机内参。根据特定目标的颜色和形状特征,
冷轧管性能优越、精度高,广泛应用于国民经济许多领域。新型冷轧管机采用三个直流电机实现轧辊和回转、送进驱动,其性能和运行状态直接决定了冷轧管的质量。已有的冷轧管机现场监控器通过采集驱动电机的电压电流信号实现了对生产过程中冷轧管机运行状态的监控,并能够连接上位机实现监控数据存贮和管理。随着新型冷轧管机的技术升级和普及应用,轧管厂和制造商在设备安装调试、使用维护、故障维修、质量跟踪等方面都面临挑战,需要
类人机器人是智能机器人领域的研究热点,受到机器人学界的广泛关注。本课题针对Robo Cup类人足球机器人Kid Size项目,在东南大学SEU_Uni Robot团队历年研究成果基础上,优化设计和实现完整的类人机器人运动控制系统,以提升机器人运动性能。本文研究内容主要包括:搭建机器人的软硬件系统,采用两层控制器的控制架构,完成舵机执行器、传感器的选型,使用MCU作为机器人下层控制器,完成定时任务和
在传统多标记学习中,每个对象由单个特征向量构成的示例表示,学习系统的目标是构建由示例空间至标记空间幂空间的映射。一般而言,对象的特征表示对于学习系统的泛化性能有着重要影响。如何突破传统的单特征向量表示,提升多标记学习系统泛化性能,值得进一步深入研究。本文围绕多标记特征表示开展研究,主要做了如下两方面的工作:一方面,“类属特征(label-specific features)”表示通过为每个标记构造
零样本学习作为机器学习中的一项新的挑战,越来越多的研究者将注意力放在了这一项新的任务上。零样本学习指的是利用类别辅助信息,在没有对应类别训练样本的情况下,对该类别的样本做出正确预测的任务。零样本学习可以根据测试集中样本的类别分为传统零样本学习和广义零样本学习,也可以根据使用数据的不同,分为类别归纳示例归纳式、类别直推示例归纳式、类别直推示例直推式三种。在先前类别归纳示例归纳式的零样本学习研究中,对