基于视觉和眼动特征的图像检索算法的研究

来源 :苏州大学 | 被引量 : 1次 | 上传用户:dingshilin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于内容的图像检索是计算机视觉领域的一个研究热点。研究人员正试图利用不同的方法,解决低级的视觉特征与高级的语义之间的不匹配问题。本文主要研究利用用户观察图像时的眼动数据,获取用户的意图信息,并以此对传统的图像检索方法进行改造,以弥补“语义鸿沟”,提升检索算法的性能。本文的主要工作和贡献如下:首先,提出了一种基于隐式相关反馈的图像检索算法。该方法包含三个部分:特征提取和选择,基于视觉特征的检索以及相关反馈。在第一部分,本文利用改进的量子遗传算法和主成分分析提取并选择具有70个分量的最佳图像特征;在第二部分,本文利用基于多类支持向量机和模糊C均值聚类的预滤波算法对图像库进行筛选,从而实现基于视觉特征的图像检索。最后,本文训练了一个卷积神经网络,从用户观察返回图像时的眼动数据中挖掘有关返回图像与查询图像之间相关度的信息,该信息用于更新检索点以执行新一轮的检索并提高检索性能。在Corel和Caltech数据集上的实验表明:本文提出的算法能够有效地提高检索系统的性能。其次,提出了一种基于用户意图的图像检索算法。该方法以用户判读图像时的眼动数据为信息载体,以隐含的方式获取用户意图。为了从眼动数据中挖掘用户的意图信息,本文构造了一个级联式的卷积神经网络。该网络以一个一维的网络获取眼动数据的时间相关特征,以VGG-D网络获取眼动数据的空间相关特征,最后通过堆叠的方式将这两类特征融合并作为一个新网络的输入,通过训练获取最优的时空特征,从而实现对用户意图的定量计算,并在此基础上定义图像的相关度。为了计算图像库中没有眼动数据的图像与查询图像间的相关度,本文以视觉特征为桥梁,将用户判读过的图像中的眼动数据传播到图像库与之具有最佳视觉特征相似度的图像上,从而实现基于用户意图的图像检索。实验结果证明基于用户意图的图像检索算法能够缩小语义鸿沟,提高检索性能。
其他文献
由于智能便携设备的普及,电视节目的接收终端类型多样化,这对各媒体运营商提出了新的要求:各站点需要提供大量多格式、多码率的视频节目。为满足这一要求需要解决三方面的问
《中华人民共和国环境保护税法》作为我国第一部专门体现“绿色税制”的单行税法,填补了我国多年来环保税法的缺失,迈出了完善绿色税收体系突破性的一步,表明了我国加强生态
叶面积指数(LAI)是定量刻画植被冠层结构的重要参数之一,同时也是研究森林生态系统碳、水循环过程中物质与能量交换的重要基础和前提。定量分析林冠元素的三维空间分布是准确
快速增长的世界人口不断增加能源消耗,加剧了目前的能源危机和环境问题,因此人类社会迫切需要发展清洁、可再生的能源。除了核能外,氢(H_2)能是具有最高能量密度的能源,因此通过光催化技术将取之不尽用之不竭的太阳能直接转化为氢能具有重要意义。石墨相氮化碳(g-C_3N_4)作为一种可见光聚合物半导体光催化剂,由于其合适的带隙(2.7 e V)、高的未占据分子轨道(LUMO)能级、高热稳定性和独特的二维共
本文是一篇翻译实践报告。笔者选用了美国作家亚历山大·韦恩斯坦科幻小说集《新世界的孩子》中的一篇短篇小说《绘图师》作为翻译任务,结合翻译目的论,翻译成了中文版本。韦
改革开放后,社会主义市场经济极大地解放了我国社会生产力,使我国成为了全球第二大经济体,日益丰富的物质生活使消费变得更加大众化、平民化,商品的符号价值渐渐大于其使用价值,消费者通过符号消费来获得自我实现和满足,中国已然进入法国社会学家鲍德里亚认为的以消费为主导的“消费社会”。在消费社会里,移动互联网与人们的知识信息获取与传播密不可分,极大地丰富了我国人民的文化消费需求,也改变了我国人民传统的消费方式
在大数据时代的背景下,地理计算开始面临数据海量化与多任务资源调度的问题。如何将不同的计算任务分配到相应的资源节点上运行,以达到最优资源分配的目的是当今面临的难题。目前,并行计算是解决海量数据处理的重要手段。由于计算资源的分配将直接影响并行任务的性能,并且计算资源对不同并行任务的影响程度不一,因此为并行任务进行资源调度极其困难。在并行化空间分析算法研究中,本文以并行化求交算法为代表,针对海量复杂多边
本文考虑的是在气压坐标下的干大气三维粘性原始方程组和湿大气三维粘性原始方程组的时间周期解的存在性和唯一性问题.主要运用了 Galerkin方法,即首先利用Leray-Schauder不动点定理来证明大气原始方程组具有周期性的近似解的存在性,然后再证明这个近似解在其工作空间的收敛性,从而得到大气原始方程组的周期解的存在性.全文的研究内容分为以下四个部分:1.阐述大气原始方程组的背景、理论和实践意义及
杰西卡·本杰明(Jessica Benjamin,1946-)是一名犹太裔美国精神分析师,是当前关系精神分析和主体间性理论的重要代表人物,她现任职于纽约大学。在本杰明40多年的研究中,她为精神分析的理论、实践以及应用做出了诸多基础性和原创性的贡献。在理论方面,她引入女权主义观点创造性的提出母婴主体间互动的概念;她强调相互认可在实现主体间性所起的重要作用,并认为相互认可是实现主体间性的必要基础,通过
目的:比较超声法测量下腔静脉呼吸变异率、CSM3000无创血流动力检测系统胸液水平及中心静脉压在评估经尿道前列腺电切术(Transurethral resection of the prostate,TURP)患者术