论文部分内容阅读
为了高效地利用飞速增长的海量视频资源,既需要能够快速找到期望的视频的检索技术,也需要能对视频内容进行快速浏览的视频摘要技术。视频摘要的主要应用包括监控类视频重要信息快速浏览、大型网站视频管理等各领域。本文实现了视频摘要的分层提取,主要分为镜头边界检测、关键帧提取、视频摘要快速分层表达和随机浏览。在镜头检测方面,为了提高实时性并且降低复杂性,主要分为三步进行。首先,以分区颜色直方图作为帧图像特征,计算基于双多尺度的帧差曲线,具体表现为在空间上进行分块,在时间上使用不同的间隔,并且分块尺寸和时间步长相匹配。这样既能保证对运动足够的容忍度,又能够保证足够的空间信息。其次,为了避免受到闪光灯和镜头前突然掠过目标等影响,考虑到镜头变化在相邻尺度上的稳定性,在检测切变时使用多个较小步长下的帧差乘积曲线,检测渐变时采用多个较大步长下的帧差乘积曲线,这样既能精确定位,又可以避免突发干扰。最后,使用双阈值进行切变帧和疑似渐变片段的定位,并且使用三角形准则对疑似渐变片段进行验证和精确定位。在关键帧提取方面,综合考虑了帧间内容相似性和时间相关性,设计了利用二次聚类提取关键帧的方案。首先,在第一次聚类中引入时间距离,采用自顶向下的分裂式层次聚类算法,得到镜头内基于灰度模式和时间相关性的一个较细的聚类结果。其次,第二次聚类建立在第一次聚类的基础上,既考虑灰度模式的相似度,又考虑每个聚类对应的时长信息,采用自底向上的凝聚式层次聚类将时间上分离、内容上相似的关键帧聚为一类。在聚类过程中考虑聚类数目和聚类类间类内距离两个聚类结束条件。选择聚类中心最近的点为关键帧。在视频摘要提取方面,在镜头内提取关键帧后,关键帧的数量仍旧很大,对镜头间的关键帧进行凝聚式层次聚类实现关键帧的分层表达。在界面的设计上,使用了树形控件,实现了关键帧的分层表示以及随机浏览。实验结果显示,本次设计具有较强的实用价值。