论文部分内容阅读
视觉注意建模是生物心理学、神经计算科学的主要研究内容,同时对计算机视觉、人工智能、模式识别和多媒体内容分析等多个领域的理论和技术发展有很强的促进作用,近年来正受到越来越多的关注。本文主要研究生物启发式的视觉注意计算模型。 传统的视觉注意模型主要存在以下两个问题:1.没有考虑到视觉特征所对应的生理系统的自身特点,以及各生理系统之间的层级关系;2.显著度检测算子定义在全局上或局部邻域上,计算过程中引入了很多非活跃信号,没有考虑特征通道本身的拓扑特性,从而导致特征判别力的减弱和计算精度的下降。为了解决上述两个问题,本文从人类自身的视觉系统生理特点出发,提出了一种层级化的嵌入了拓扑结构信息的视觉注意模型( Topology Embedded Attention Model,简称TEAM)。TEAM只处理那些有可能激活高层神经元的刺激信号(活跃野),并且强调视觉输入中拓扑信息的运用。TEAM具有分级结构,包括低级、中级、高级和语义级子模块,分别对应了视网膜神经节核团、视觉皮层的简单细胞核团、复杂细胞核团以及超复杂细胞核团的响应处理。每一级TEAM子模块都有单独定义的视觉特征及显著度检测算子。随着视觉信息由低级神经系统向高级神经系统流动,TEAM子模块的视觉特征逐步复杂,显著度检测算子也由较为规整的空域形式转变为零散的拓扑形式。TEAM模型的计算复杂度与视觉信号的复杂度成正比,因而从生物心理学角度来讲其计算方式更为合理。 本文进行了两组实验,实验方法和评估准则采用国际主流会议和期刊的标准,主要包括对心理学模式图像的响应和搜索效率分析,以及对自然图像的响应和眼动跟踪数据的分类性能分析。实验结果表明,与近几年的多种代表性注意模型相比,本文提出的TEAM模型具有最佳的显著度检测效果和一定的鲁棒结果表明,本文的APA框架,能够在大众化的照片评估中较好的体现用户的主观感受,在个性化照片评估中也能有效反映出不同用户的评估偏置。性。 考虑到人的感知特点,本文将视觉注意模型应用到照片评估上。传统方法偏重于照片本身的物理属性(如清晰度,噪声等),并没有考虑用户的主观感受。启发于摄影学相关原则和技巧,本文提出了一种基于视觉注意的照片评估框架(Attention based Photo Assessment,简称APA)。APA以照片主题区域的注意集中程度为依据对照片进行量化评估。通过对特定用户的个人相册进行学习, APA能够将用户的个人喜好结合到评估过程中来,实现个性化的照片评估。