基于深度学习的草图分类与检索方法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:judehui01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
草图是一种手工绘制的图像,仅由线条组成,具有简洁、明了的特点,可用于表达语言文字难以叙述的信息。近年来,随着触摸屏等设备的出现,草图的绘制变得更加容易,与草图相关的研究方向吸引了许多的关注,草图分类与草图检索是其中两项重要的研究工作。自从深度学习技术提出以来,卷积神经网络被用于草图分类与草图检索的研究,并取得了很大的进展,但仍存在特征提取不全面、先验知识使用不充分等问题。本文利用多特征结合、双阶段训练、域感知及相似性等方法对草图分类与检索进行了深入的研究。具体工作如下:(1)针对特征提取不全面的问题,提出了一种基于多特征的双阶段草图分类方法。该方法通过两个训练阶段将草图的粗粒度特征分类结果、细粒度特征分类结果与轮廓特征分类结果进行融合。在初训练阶段,通过卷积神经网络获得粗粒度特征分类结果,引入双线性池化以获得细粒度特征分类结果,提取草图的轮廓图像以获得轮廓特征分类结果;在再训练阶段,设计了一种可训练的分类结果融合模块,将各特征分类结果进行融合,并加入正则化项以减缓该融合模块的过拟合。在TUBerlin数据集上进行了实验,验证了该算法的有效性。(2)针对先验知识使用不充分的问题,提出了一种基于域感知双重注意力网络的草图零样本检索方法。构造了域感知双重注意力机制,将输入图像所属域(草图或真实图像)的先验知识嵌入其中,提取辨别性强的特征;通过Image Net预训练模型得到类间相似性,构造相似性损失函数以监督所有图像间的相似性,更多地保留了预训练模型中的先验知识;通过中心损失函数将同一类的草图和真实图像的特征向同一个中心特征拉近,减小了草图与真实图像的域间差距。在Sketchy扩展数据集及TUBerlin扩展数据集上进行了实验,验证了该算法的有效性。
其他文献
现阶段互联网图像信息的数量高速增长,导致现有图像检索方法检索的时间变得更长,也使得检索准确率变得不尽人意。与目前使用频率较高的基于文本或者图像的检索方法相比,基于草图的检索方法因草图绘制更易操作的特性而具有实用意义。但是现有草图数据集的数量有限,往往匹配不了当下研究需求,并且草图检索对未见过的类别表现较差。因此本文将零样本学习与草图检索相结合,可以使得草图检索的应用场景更广泛。本文主要工作如下:(
学位
准确获取冬小麦的空间分布信息可以为作物管理、产量估测和农业政策调整提供参考依据,对于国家的粮食安全和社会的长治久安具有重要意义。传统的遥感分类方法中,遥感数据存储所需空间大、处理时间长,使利用较高分辨率卫星数据实现区域冬小麦种植面积的提取仍然面临诸多挑战。作为基于全球地理空间分析的云计算分析平台(Google Earth Engine,GEE),为快速分析遥感信息提供了新的机会。本文以中国最大的冬
学位
小麦粉是常见主食的基本原料,为人体提供了淀粉和蛋白质等营养物质。然而,在生产中,引入的掺杂物使得小麦粉的品质难以保证。小麦粉中常见的掺杂物包含过氧化苯甲酰增白剂和花生、坚果等致敏原。对小麦粉掺杂物的检测不仅可以监控增白剂的添加,而且可以对小麦粉中存在的致敏原等注意事项进行标注,以免出现食品安全事故。现有的高效液相色谱、聚合酶联反应等方法存在操作繁琐、成本昂贵、破坏样本等问题,并不适用于小麦粉的安全
学位
茶叶行业作为我国重要的农产品产业之一,确保我国茶叶产业的良好发展,对于增加种植户收入,加快当地经济发展实现乡村振兴等有重要意义。然而通常在环境因素的影响下,茶叶在其生长过程中往往会受到病害的侵袭,使茶叶整体的产量和质量有所下降。对茶叶病害类别进行准确及时的划分,有助于及时地进行茶叶精准防治,从而减少农药的使用和残留,响应农作物绿色防治政策。针对茶叶病害图像的特点,本文通过多特征融合的方法得到茶叶病
学位
茶叶是我国重要的农业作物,但其生长过程易受虫害的影响。茶尺蠖是分布最广、危害最严重的茶叶害虫之一。茶尺蠖啃食茶叶嫩芽,危害茶树,降低了茶叶的质量和产量。准确地分割出自然场景图像中的茶尺蠖,实现图像中的茶尺蠖的自动检测和定位,有利于对茶尺蠖的精准防治。卷积神经网络在植物害虫图像分割领域有着广泛的应用。然而,在自然场景下采集的茶叶茶尺蠖图像光照不均匀,包含较多复杂的背景信息,茶尺蠖自身体积小不易被察觉
学位
稻谷在收割后的贮藏、加工以及后续播种栽培过程中,常常因其淀粉酶活性和水分含量控制不当导致霉菌生长、加工效率低、育种存活率差等问题,从而造成大量的粮食浪费和巨额的经济损失。及时准确地检测稻谷中水分含量和淀粉酶活性为稻谷的长期存储、高效加工、科学育种提供数据支撑。混合物的反射率光谱可近似为其中各种物质响应的线性叠加,淀粉酶和水分主要分布在稻谷内部,而带壳稻谷光谱中必然混有稻壳的光谱响应,这将会降低反射
学位
大豆是中国最主要的粮食作物和油料作物,准确提取种植区对掌握种植面积、长势营养、空间分布等具有重要意义。基于遥感技术的探测范围广、数据类型丰富、动态监测等优点,可以客观有效地对大豆种植区进行大范围监测和提取,便于及时准确地掌握大豆的种植情况,对于我国大豆产品的存储和进出口具有重要意义。本文利用国产高分一号(GF-1)卫星影像作为数据源,选取安徽省北部典型大豆种植区临湖镇和标里镇为研究区,开展大豆种植
学位
随着社会的不断进步,人们对公共场合的安全问题愈发关注。为了保障人们的生命财产安全,部分学者使用视频异常检测系统来及时预警公共场所发生的危险事件。但是由于日常生活中异常事件发生的频率较低,同时异常事件的种类繁杂,所以很难收集到大量的异常事件视频片段。此外,异常事件的定义往往和环境息息相关,而现实生活中环境十分复杂,所以异常数据的标注需要耗费大量的人工。以上两点导致了有监督的方法很难在视频异常检测领域
学位
足迹作为一种重要的生物特征,在公共安全、刑事案件侦查等领域有着极其重要的应用,基于足迹的身份识别已经成为一个重要的研究课题。公安机关在侦破刑事案件时,技术人员需要针对犯罪现场进行勘察取证,由于犯罪嫌疑人对具有高辨别性的指纹、DNA、虹膜等物证的规避,在现场很难提取到有效的犯罪证据,因此无法对刑事案件的侦破提供有力的情报支持,足迹作为犯罪现场常见的痕迹,通过对现场足迹的采集并与犯罪嫌疑人的足迹进行比
学位
基于无人机遥感的水稻病害程度判别是智慧农业中的重要组成部分,对于世界粮食安全和提高水稻品质具有重要作用。本文以水稻窄褐叶斑病和茎腐叶枯病为研究对象,采用专业版航拍无人机平台DJI INSPIRE 2(DJI Innovation Science and Technology Co.,Shenzhen,China)搭载多光谱传感器Sentera’s Multispectral Double 4K s
学位