论文部分内容阅读
注意力选择是人的视觉感知的一个重要性质,人可以很容易的完成一般物体的检测和识别,然而传统的机器视觉却没有办法做到,如何开发拟人的注意力系统是本文的研究重点。现有的模仿人的注意力选择模型主要有自下而上的Neuromorphic Vision C++Toolkit(NVT),SaliencyToolBox(STB)模型等,但其计算复杂度高,无法实时应用;自下而上和自上而下结合的模型,但自上而下部分需要人的参与,且它们不具备学习和记忆的能力。论文在研究现有的模型基础上提出带有学习和记忆的注意力选择模型、具有带有遗忘函数的视觉记忆和能实时运用的时空显著性模型。论文的主要创新包含以下几个方面:1.提出了一种带有学习和视觉记忆的注意力选择模型,该模型包含3个部分,分别为感知映射,认知映射以及运动映射。在认知映射中,我们提出了基于视觉记忆的自监督竞争神经网络和眼球运动估计机制,并且利用增量多层回归树来模拟视觉记忆。该模型能学习不同的目标,对外界环境有自适应的能力,我们的模型被应用于目标跟踪以及机器人自主导航,取得了良好的效果。2.视觉记忆对于注意力选择结果有着很大的影响,然而现有的视觉记忆模型没有遗忘功能,在处理连续不断的图像样本时,会出现速度越来越慢以及记忆溢出的情况。本文提出了一种新的带有遗忘函数的视觉记忆模型:遗忘增量多层分类回归树。该模型可以同时模拟人脑的长期记忆和短期记忆。实验表明,,我们提出的记忆模型具有稳定的规模,较快的搜索速度和较高的准确率。该记忆模型应用在我们提出的注意力选择模型上,实现了有监督的视频编码。3.针对现有的自下而上模型的计算复杂度高问题,提出了一种基于四元数傅立叶变换的时空显著性检测方法。把一幅图像每个像素的值用四元数表示,并利用其傅立叶相位谱来获得时空显著图。实验表明该方法不但比NVT,STB模型更接近人的注意力选择的结果,而且速度很快,能够实时运算。4.将我们提出的时空显著性检测性方法推广到多分辨率下的显著图,提出了层次选择模型来获取一幅图像的树状表示,利用这种表示,可以建立多辨率小波域注意力模型,这种模型可以提升图像及视频编码的效率,从而提高压缩率。