论文部分内容阅读
随着互联网和计算机技术的快速发展,人们的日常生活与工作中会产生大量的图像数据和视频数据,并存储于互联网或本地计算机中。面对海量的多媒体图像以及视频资源,用户希望从中快速准确找到自己所感兴趣的目标。
基于内容的视频检索方式根据待查询图像的特征,在大量的视频序列帧中查找对应的图像。本文利用数字图像处理和模式识别技术研究了视频关键帧的提取方法和基于显著区域内不变特征的图像检索方法。主要工作可概括为以下三个方面:
(1)基于ReliefF特征加权的FCM(Fuzzy C-means)视频关键帧提取方法研究。采用聚类算法将视频中某些具有相似特征的帧图像聚集为若干集合,从每个集合中选取代表性的样本可作为视频的关键帧。针对镜头内容变化较快的视频资源,首先输入所有视频序列帧,采用FCM聚类,获得初始聚类结果;然后应用ReliefF算法评估不同类别中不同特征的权重,用加权后的图像特征进行二次FCM聚类;最后选择每个类别中隶属度最大的样本用来代表该类别。
(2)基于分层AP(Affinity Propagation)的视频关键帧提取方法研究。针对传统AP聚类算法提取关键帧无法适应大规模图像集的问题,首先将视频序列帧数据集进行分层,采用传统AP聚类方法求取每个图像子集的聚类中心;然后用得到的聚类中心作为输入,进行自适应的AP聚类,并根据Silhouette指标选取最优的聚类结果;最后选取每个类别中的聚类中心得到视频序列的关键帧。
(3)基于视觉显著区域内关键点的图像检索方法研究。视频检索是输入特定目标在视频资源库中查找与之对应的图像,因此可选用具有良好“不变性”的局部特征点,作为特征向量进行图像匹配。一幅图像的关键点数目极多,而且图像的背景通常会干扰关键点的匹配,从中引入视觉注意机制,通过检测图像中的主体显著区域,在显著区域内提取关键特征点,进行相互匹配完成检索。该方法可有效剔除背景对查询目标的干扰。
仿真结果表明,本文所提出的关键帧提取方法和图像检索方法取得了良好的效果。所提取的关键帧能较准确地反映视频的主要内容,算法执行速度较快,且有较高的压缩率;图像检索算法可减少背景因素的影响,并具有良好的鲁棒性。
基于内容的视频检索方式根据待查询图像的特征,在大量的视频序列帧中查找对应的图像。本文利用数字图像处理和模式识别技术研究了视频关键帧的提取方法和基于显著区域内不变特征的图像检索方法。主要工作可概括为以下三个方面:
(1)基于ReliefF特征加权的FCM(Fuzzy C-means)视频关键帧提取方法研究。采用聚类算法将视频中某些具有相似特征的帧图像聚集为若干集合,从每个集合中选取代表性的样本可作为视频的关键帧。针对镜头内容变化较快的视频资源,首先输入所有视频序列帧,采用FCM聚类,获得初始聚类结果;然后应用ReliefF算法评估不同类别中不同特征的权重,用加权后的图像特征进行二次FCM聚类;最后选择每个类别中隶属度最大的样本用来代表该类别。
(2)基于分层AP(Affinity Propagation)的视频关键帧提取方法研究。针对传统AP聚类算法提取关键帧无法适应大规模图像集的问题,首先将视频序列帧数据集进行分层,采用传统AP聚类方法求取每个图像子集的聚类中心;然后用得到的聚类中心作为输入,进行自适应的AP聚类,并根据Silhouette指标选取最优的聚类结果;最后选取每个类别中的聚类中心得到视频序列的关键帧。
(3)基于视觉显著区域内关键点的图像检索方法研究。视频检索是输入特定目标在视频资源库中查找与之对应的图像,因此可选用具有良好“不变性”的局部特征点,作为特征向量进行图像匹配。一幅图像的关键点数目极多,而且图像的背景通常会干扰关键点的匹配,从中引入视觉注意机制,通过检测图像中的主体显著区域,在显著区域内提取关键特征点,进行相互匹配完成检索。该方法可有效剔除背景对查询目标的干扰。
仿真结果表明,本文所提出的关键帧提取方法和图像检索方法取得了良好的效果。所提取的关键帧能较准确地反映视频的主要内容,算法执行速度较快,且有较高的压缩率;图像检索算法可减少背景因素的影响,并具有良好的鲁棒性。