二维和立体图像视频显著计算模型及其对比研究

来源 :北京大学 | 被引量 : 0次 | 上传用户:greatteset
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体视觉注意是人类视觉在信息处理过程中一个重要阶段,可以让人有效地去处理有意义的信息,自动过滤无意义或较少意义的信息。因为视觉注意的重要性,视觉注意分析得到了很多研究机构的关注,成为计算机视觉和相关领域近年来的研究热点。目前已有的视觉显著计算模型以及对应的评测数据集主要是针对二维图像和视频,随着三维摄影摄像技术的成熟,多媒体应用开始进入了立体影像时代。已有一些立体视觉显著计算模型相继被提出,但是至今仍缺乏一个多种类、多数量的立体图像公开评测数据集,因而很难对不同模型进行定量对比。为了探究2D与3D图像在眼动的区别,以及加入深度信息后视觉注意的分布变化,本文首先构建了2D与3D图像眼动对比实验,并且分别针对2D图像和3D图像提出了视觉显著计算模型。本研究主要内容包括:  ⑴构建了一个包含1000张不同种类的立体图像数据集,并且采用眼动仪收集了20位被试的眼动数据。同时设计了3D图像眼动和2D图像眼动的对比实验。实验分析表明,在自然情况下观看3D图像时对比2D图像具有注视点多,而且每个注视点关注时间更短的特点。从眼动分布对比可以看出,2D与3D两种情况下眼动分布存在一定的差异。本次实验选取了100张复杂场景和100张简单场景的图像,可以发现不同复杂度场景下眼动存在明显的差异,并且在复杂场景中深度信息对视觉注意分布影响更为明显。  ⑵基于生理学、心理学和神经科学的结论,构建了一个多尺度多方向自底向上的二维视觉显著计算模型,该模型主要采用2D Log-Gabor滤波金字塔模拟单眼感受野模型,并且加入“中心偏爱”现象的影响,形成一个针对2D图像的视觉显著计算模型。基于本文构造的二维图像数据集即相应的眼动数据,和已有立体视觉显著计算模型对比,结果表明本文中提出的二维视觉显著计算模型的有效性。  ⑶在二维视觉显著计算模型基础上,提出了一个新的多尺度、多方向、双眼融合、自底向上的立体视觉显著计算模型。首先借鉴视网膜的生理特性,提取颜色特征与亮度特征作为输入,用2D Log-Gabor滤波金字塔模拟单眼的感受野模型并且加入左右眼相位差因素,然后用Two-Stage模型模拟左右眼刺激与抑制等相互作用进行双眼融合。之后加入“中心偏爱”和“前景偏爱”这两个常见现象对立体视觉注意的影响,最终获得立体图像的显著区域。采用本文构造的多种类规模化的立体图像数据集以及相应的眼动数据,与已有立体视觉显著计算模型对比,结果证明本文提出的立体视觉显著计算模型在效果上有了很大的改进,能更有效提取立体图像中感兴趣区域。综上所述,本文针对2D与3D图像眼动对比、二维和立体视觉显著计算模型三个重要问题进行了研究。本文的研究工作为立体视觉显著计算模型进一步研究奠定了基础。
其他文献
Maze文件共享系统是北京大学网络实验室在2005年发布的一款软件,主要服务于教育网的用户,它是一款基于P2P的软件,同时Maze也是一个很好的研究P2P的平台。用户下载并安装Maze
当前随着因特网技术的高速发展与广泛应用,虚拟社区已经成为个人或组织间交流信息、共享知识的重要手段。在以知识共享为目的的虚拟社区中,社区成员既是知识的提供者,又是知
随着互联网的不断发展,越来越多的网页成为了历史网页,这些网页虽然很少能被查询到,但其中依旧蕴藏着丰富的知识。中文历史网页库(Web InfoMall)保存了超过50亿的中文历史网
高分辨率遥感影像目标检测是分析理解影像、自动提取和处理影像中目标信息的重要手段,是军事对抗中捕获战略打击军事目标和智能化民用系统(如灾害监测、资源勘查、海事渔业、交
近些年来,小卫星由于其体积小、成本低、研制周期短等独特的优势,受到了国内外研究者的广泛关注,并被逐渐应用于军事、科学研究等领域。随着小卫星技术的发展,投入使用的小卫星数
随着数字化文本信息在当今时代的广泛普及和应用,文本图像结构和内容的智能分析逐渐成为图像处理和计算机视觉领域的研究热点。表格,作为数字文本图像中经常出现的一种信息表
学位
随着信息化建设的发展,当今社会对汉字信息化的需求日益增加。汉字作为使用人数最多的语言,历史悠久、总量庞大,现存字符集标准已包含7万余字,据专家估计,汉字总量超过30万,
地理学家需要长期从事地理建模工作,这是一项长期的基础性工作。国内外的许多地理学家从不同的研究领域出发,建立了许多的地理模型。一方面这些模型存在着语义、建模方法、运行
平衡是相对的,不平衡是绝对的。目前,不平衡数据集分类问题已成为机器学习领域的研究热点之一。线性分类方法是最基本的模式识别方法之一,其特点是结构简单,学习和决策速度快