【摘 要】
:
传统图像分析的目标对象隶属传统意义上的类别(如,“鸟”、“车”、“飞机”和“花”等)。然而,在现实生活中目标对象常常来自某一传统类别下更细粒度级别的子类(如,“波音737-200”和“波音737-500”是“飞机”的子类)。细粒度图像分析是计算机视觉领域的热门研究课题,其目标是对图像中的细粒度对象进行识别、检测以及分割等任务的研究。然而,细粒度级别子类类别间较小的类间差异和较大的类内差异、缺乏复杂
论文部分内容阅读
传统图像分析的目标对象隶属传统意义上的类别(如,“鸟”、“车”、“飞机”和“花”等)。然而,在现实生活中目标对象常常来自某一传统类别下更细粒度级别的子类(如,“波音737-200”和“波音737-500”是“飞机”的子类)。细粒度图像分析是计算机视觉领域的热门研究课题,其目标是对图像中的细粒度对象进行识别、检测以及分割等任务的研究。然而,细粒度级别子类类别间较小的类间差异和较大的类内差异、缺乏复杂场景下的细粒度数据集、细粒度图像语义分割数据集难以获取等问题,使得细粒度图像分析比传统图像分析更具挑战。本文重点围绕细粒度图像分析中的识别和分割任务展开研究,主要工作包括:(1)基于数据特性的简单场景下细粒度图像识别:现有的大多数细粒度数据集(如Swedish、ICL、Orchid、CUB-200-2011和Stanford Cars等)中的目标往往占据图像的大部分区域且出现在相对简单的背景中,本文将这类数据集归为简单场景下的细粒度图像数据集。传统细粒度图像识别方法根据Swedish和ICL叶片数据集中的图像以纯白背景为主这一数据特性,通常采用手工设计的形状特征描述子来表征叶片。然而,这些方法往往很难同时提取叶片的局部细节和全局信息,使得它们很难区分类间差异较小的叶片种类。本文设计了全局形状特征描述子和边缘特征描述子以有效捕捉叶片的全局信息和局部细节。实验结果表明提出的方法获得了比现有传统叶片识别方法更好的分类性能。此外,类别标签具有层级结构是细粒度数据的一大特点。然而,大多数细粒度图像识别算法的研究主要集中在某一层级上,忽略了这种层级相关性信息。层级结构将丰富的上下文信息编码到网络结构中以增强特征的区分性,并且层级结构可以捕获多粒度语义信息从而增强特征的丰富性。本文提出了一种称为层级双线性卷积神经网络的多任务学习框架,该框架将深度卷积神经网络与标签的层级结构无缝整合以提高细粒度图像识别的性能。(2)基于位置指导的复杂场景下细粒度图像识别:以往的细粒度图像识别方法大多在“纯净”(即,目标占据图像的大部分区域且图像背景相对简单)的细粒度数据集上验证算法性能,且在方法设计时通常没有考虑复杂场景的情形。本文构建了具有复杂场景的细粒度车辆数据集AIBD-Cars,并提出了针对复杂场景的细粒度图像识别方法。具体地,首先使用提出的自学习目标检测网络ALM来定位目标所在区域,然后根据定位结果裁剪出目标以去除背景或噪声的干扰,之后将裁剪出的目标图像送进细粒度分类网络中以完成细粒度图像识别。实验结果表明提出的ALM比现存的弱监督目标检测方法有更优的检测精度,且在多个数据集上的检测性能可以与强监督方法相竞争。与此同时,在AIBD-Cars数据集上提出的方法获得了比现有细粒度分类方法更好的性能。(3)基于迭代学习的细粒度图像像素级标签生成:以往的图像语义分割任务主要针对通用物体,而很少考虑如何有效地分割细粒度级别的目标物体。细粒度图像语义分割任务鲜有研究的一个重要原因是缺乏细粒度图像分割数据集。据统计手动标记一张分割图像平均需要3个小时且很难提供一致的标注质量。本文提出了一种可以自动生成具有详细像素级结构/边界的目标掩码方法。具体地,首先从公开可用的图像分割数据集或谷歌图像搜索引擎中收集包含目标类别的图像,这些数据被用于预训练提出的导向滤波网络。然后,预训练的导向滤波网络进一步对未标注的目标数据进行迭代学习以优化分割网络。实验结果表明在相同的实验条件下提出的方法比现存的弱监督、半监督和域自适应方法有更优的分割性能,且生成的像素级标签可与人工标注的标签相媲美。(4)基于类别引导的细粒度图像语义分割:基于自动生成的细粒度图像像素级标签,本文设计了基于类别引导的细粒度图像语义分割网络。细粒度图像语义分割主要存在的问题是较大的类内变化和较小的类间差异。针对类内变化大的问题,提出了类引导加权模块,该模块利用二阶特征统计量学习图像级细粒度类别概率,并将其作为全局信息来指导细粒度图像语义分割。针对不同子类别之间高度相似的问题,构建了通道相关性注意力模块来增强特征之间的区别。为了细化目标掩码,提出了一种细节增强导向滤波模块,利用从增强后的图像中提取的边缘轮廓线索来细化目标掩码。在六个细粒度分割数据集上的实验结果表明,提出的方法取得了最先进的性能。
其他文献
21世纪以来,日益增长的人口和经济发展压力迫使人类活动更频繁地进入生态环境脆弱的黄土高原地区,直接或间接性地诱发了大量的地质灾害。在黄土台塬塬边、煤矿区域(地下开采)、水库库岸、公路铁路沿线等人类活动活跃区域,频繁发生的滑坡对局部边坡形态、地形参数、土壤侵蚀、植被演替等多方面造成显著影响,在一定程度上成为了控制局部地形与地貌演化的关键因子。目前,滑坡在地貌演化中的作用正逐渐得到应有的重视,但对于滑
含能材料作为一种特殊的能量来源,在国防和民生中具有广泛且不可替代的重要应用。新型含能材料的研发不仅需要关注性能的提高,也需要注重合成路径的便利性,才能获得可以替代传统含能化合物的新型含能化合物。对富氮含能材料的N-氧化和离子化分别是改善含能材料性能和提升含能材料开发效率的重要方法,但目前对N-氧化三嗪类富氮含能材料和三嗪类含能离子化合物的合成和性质的研究还很少。此外,目前对能提高离子型含能材料研发
近年,近红外有机电致发光器件(NIR-OLEDs/PLEDs)在信息数据存储、成像、光遗传学、生物探针、光通讯、遥感及夜视显示等领域的应用备受关注;因此,开发具有优良光致近红外发光性能的有机近红外发光材料已成为当今新材料领域最富活力和生机的前沿课题之一。环金属铱(III)配合物类有机近红外发光材料由于本身结构稳定、具有独特的六配位正八面体构型、近红外发光区间内波长可调、100%的理论内量子效率及较
随着科技的快速发展,有机发光材料由于在显示,传感,生物成像等领域的应用而备受科研工作者与企业的重视。传统的有机荧光分子具有寿命短和内量子效率低的缺点。传统磷光分子具有在室温下难以稳定存在以及含有重金属的缺点。此外,传统具有平面π共轭结构的有机体系在聚集环境中容易导致荧光淬灭,从而限制其在实际中的应用。因此,有必要发展具有较高效率的有机发光材料。例如:在有机室温磷光材料中,由于足够大的自旋轨道耦合打
研究背景多形性胶质母细胞瘤(glioblastoma multiforme,GBM)是脑部最常见肿瘤,占所有原发性脑实体瘤的45~50%。GBM呈浸润性增长,手术很难完全将肿瘤切除,且术后治疗较易出现耐药反应,很容易复发。替莫唑胺(temozolomide,TMZ)是GBM治疗的一线标准药物,能够提高GBM患者的预后。然而,大多数患者最终会发展为TMZ耐药,导致肿瘤复发。即使采用外科手术联合术后放
地幔是地球中最大的挥发性元素储库(C、O、H和S等),这些挥发性元素在地幔中的迁移和释放在地幔熔融和大气层形成过程中扮演了至关重要的角色。作为变价元素,C-O-H-S挥发分在地幔中的赋存形式与活动性主要受到氧逸度的控制,因此准确约束地幔氧逸度是地幔和地球深部挥发分循环研究中不可或缺的关键环节。目前地幔氧逸度的研究主要建立在对幔源熔体氧逸度研究的基础上,然而岩浆演化过程中的分离结晶、岩浆脱气和同化混
中药猪苓(Polyporus umbellatus,PPU)是常用的利水渗湿中药,为多孔菌科真菌猪苓Polyporus umbellatus(Pers.)Fries的干燥菌核,临床上用于小便不利、水肿、泄泻等症。猪苓中主要含有多糖类、甾体类、氨基酸、蛋白质、维生素等成分,其中甾体类和多糖类化合物是其主要化学成分,具有细胞毒活性及抗肿瘤、免疫调节、利尿、保肝、肾保护等多种药理作用。猪苓组成的中药复方
扬子板块新元古代构造演化历史对探索Rodinia超大陆的聚合和裂解具有非常重要的意义。扬子周缘大量研究工作为揭示新元古代构造演化过程提供了很好的制约。现有研究表明,扬子北缘构造体制和西缘以及西北缘还存在一定差异。南秦岭构造带被认为是扬子北缘的重要组成部分。保存良好的基底岩系较为完整地记录了新元古代岩浆—沉积信息,为研究新元古代构造演化提供了宝贵的素材。前人的工作已经取得了许多重要的进展,然而,一些
隐生宙-显生宙过渡时期,后生动物对沉积底质的改造作用逐渐增强,打破了前寒武纪广泛发育的微生物席,使得微生物席底质逐渐转变为混合底质,这就是寒武系底质革命。但碳酸盐岩中生物潜穴形成的建造型生态系统工程及粪便化石等与底质的相互作用,鲜有报道和研究。另一方面,华南台地相地层自寒武系第四阶乌龙箐组之后发生白云化作用,化石记录多被磨灭。华北板块寒武纪的相关研究多针对页岩特异埋藏化石,罕有寒武纪第二世之后微型
寒武纪生命大爆发是指距今约5.6-5.2亿年前,动物门类相继在地球上大量出现的重大生命演化创新事件,大量保存精美的化石为探索各门类生命的起源与演化提供了绝佳的窗口。腕足动物自寒武纪第二期出现以来,经历了寒武纪第三期的辐射扩张,逐渐成为寒武纪演化动物群和古生代演化动物群的重要组成部分。寒武纪腕足动物的研究最早始于劳伦和波罗的板块的不同地区,多数寒武纪腕足动物分类阶元的模式属、模式种均产自并命名于这些