基于主题模型的图像标注方法研究与应用

来源 :江南大学 | 被引量 : 0次 | 上传用户:gcj820305
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于大数据技术的高速发展,网络中的无标签图像展现出巨大的商业价值,如何快速筛选并使用这些无标签图像数据成为一个极具研究价值的问题。图像检索可以高效检索出需要的图像,而其在无标签图像数据的检索效果依赖于图像标注方法。在图像标注领域,由于图像的视觉内容和文本语义之间存在极大的差异,提出优秀的图像标注算法或改进现有图像标注模型依旧是一个十分具有挑战性的工作。本文围绕图像标注模型的改进、深度学习如何与传统图像标注模型结合展开研究,主要工作内容如下:(1)提出了基于主题融合和关联规则挖掘的图像标注方法,此方法是对基于LDA主题模型的图像标注方法的改进。LDA主题模型将图像视觉模态和文本模态的数据视为相互独立,并在此基础上生成对应模态的主题分布,因此图像不同模态的主题相互独立。为了增强图像视觉数据和文本数据的联系,在模型训练和图像标注阶段均进行不同模态的加权主题融合。基于LDA主题模型的图像标注以及其模型改进都没有考虑图像文本信息之间的关联对图像标注的影响,因此可利用图像文本信息的关联对主题模型的标注结果进行改善。利用改进的LDA图像标注方法获得初始标注词集,然后采用关联规则挖掘算法对初始标注词集进行挖掘找出图像的潜在标注词集。计算图像集所有文本标注词的词间相关性,然后将潜在标注词的词间相关性与基于改进LDA主题模型得到的标注词概率融合,对初始标注词集进行调整,从而改善图像标注的性能。(2)提出了融合卷积神经网络和主题模型的图像标注方法,此方法是深度学习与传统图像标注模型的结合。利用LDA主题模型对图像训练集的文本数据建模,生成图像训练集的潜在文本主题分布和文本主题标注词分布,对图像训练集文本数据的处理弥补了卷积神经网络分类训练集中文本数据维度大,分布稀疏的问题;卷积神经网络提取图像的高层视觉特征弥补了传统图像特征提取复杂和传递图像视觉信息有限的问题。为了提高图像低频文本主题的分类召回率,对卷积神经网络分类训练集中的高频文本主题进行平滑处理。然后利用图像的高层视觉特征和对应的潜在文本主题构建卷积神经网络分类器并进行图像文本主题多标签分类,获得图像的文本主题分布。该文本主题分布和LDA主题模型生成的文本主题标注词分布根据主题模型图像标注词概率的计算公式可得到图像标注词概率,从而确定图像的标注词集。在图像数据集中,将本文改进的图像标注方法与传统图像标注模型进行对比,本文改进的图像标注方法在召回率和准确率上都有一定的提高。将本文提出的结合深度学习和主题模型的图像标注方法与传统图像标注模型相比,该图像标注方法的性能远胜于传统图像标注方法;与当前较为先进的图像标注和基于深度学习的图像标注相比,该图像标注方法在准确率上表现略差,但在召回率有一定的提升。
其他文献
以β-环糊精为壁材,采用单因素试验和正交试验对超声法制备香薷挥发油微胶囊的工艺进行了优化。试验结果表明,最佳工艺条件为壁材芯材比12 g/g、超声功率100 W、包埋温度60℃
本文提出运输化是工业化的重要特征,也是伴随工业化而发生的一种经济过程,经济发展的运输化过程受一定客观规律的支配。应当重视运输化进程与生产力布局、经济空间结构改善之
<正> 一 認識班主任工作與學校團隊工作緊密配合的意義 一九五三年以前,我校班主任工作舆學校團隊工作的關係是不够正常的。這表现在:在班主任方面,有的對團隊光使用不教育,
提起第二次世界大战期间的洛克希德公司,人们会很自然地想到著名的"双身恶魔"-P-38闪电式战斗机。很少有人知道,除了P-38,洛克希德公司还为盟国生产过一种由民航客机改进而来
警察政治学是运用政治学的理论和方法研究警政现象,以探求警政关系发展规律为核心目标的一门介于警察学与政治学之间的交叉学科。其研究范围主要涉及警察与国家、警察与意识
脑海绵状血管瘤(Cerebral Cavernous Malformation,CCM)是一种常见的多发病,临床上可分为家族性遗传和散发性病例两大类。家族性脑海绵状血管瘤以常染色体显性方式遗传,病灶
研究背景:直肠癌是消化道常见的恶性肿瘤之一,每年发病率30~50/10万。手术是治疗直肠癌的主要手段。正常的排便和排便自制是直肠肛门重要的生理机能。而手术将改变正常的解剖
目的:探讨妊娠期及产褥期下肢深静脉血栓(DVT)形成的部位、类型、危险因素及治疗效果。方法:回顾分析2015年1月至2016年12月华中科技大学同济医学院附属同济医院妇产科收治的
文章以毕业论文编排为例,阐述了如何运用Word中的设置和修改样式、插入分节符、设置页眉页脚和生成目录等功能对论文进行排版,旨在培养学生Word综合应用能力。
至Tinbergen(1962)开创性的将引力模型用于双边贸易流量分析以来,引力模型得以广泛应用,根据E1sevier数据库的索引结果显示2004年至今,标题中含有引力模型字样的文献数高达5895篇