论文部分内容阅读
随着计算机技术的发展,网络传输带宽不断提高,存储成本日益下降,越来越多的数码便携设备也进入到人们的日常生活中,这些都促使了数字媒体信息的飞速膨胀。因此,如何处理这些海量的图像和视频数据已经成为现在的研究热点。关注分析作为一个新的研究方向,其目的是基于人类的视觉感知特性,使计算机能够自动获得图像和视频关注的时空分布。利用关注分布,一系列的应用可以相继展开,比如视频摘要提取,小屏幕设备的视频浏览,图像和视频的虚拟内容插入,以及可变码率的视频压缩等等。
本文针对关注分析这个方向展开研究,提出了一个基于空域信息的图像关注分析方法和一个融合多种时空特征的视频关注分析方法,并在此基础上进行了视频时空摘要提取的应用。
第一,本文提出了一个基于空域信息的图像关注分析方法,该方法以区域作为图像关注分析的感知单元,并使用综合了多种空域特征,包括空间对比度、信息量、区域的位置和面积等,使其更加符合人类的视觉感知特性。该方法最终可以得到图像关注的分布情况,即标识各个像素和区域关注度的关注度图。
第二,本文提出了一个融合了多种时空特征的视频时空关注分析方法,该方法的空域模型使用了图像关注分析方法,同时综合了视频的多种时域特征,包括摄像机运动、局部运动、时域对比度等,通过分析得到视频的时空关注分布情况,即空域上的关注度图以及时域上标识各帧关注度的关注变化曲线。
第三,基于该视频关注分析方法,本文提出了一个视频的时空摘要提取方法。所谓的时空摘要,即从时域和空域两方面来提取视频的摘要部分,以满足手机等小屏幕便携设备的视频浏览需求。以关注分析为基础,该方法首先提取关注较高的片段作为时域摘要,然后在时域摘要的基础上进一步提取空域的关注区域,并作为最终的时空摘要。与传统的摘要技术不同的是,该方法能够从时空两方面来提取视频摘要,同时,该方法的基础是视频的时空关注分布,即能够以符合人类视觉感知的方式提取关注度较高的时空子集作为摘要。