论文部分内容阅读
摘要:长期以来,监控视频的回放大都是通过传统的拖拽方式或者定位到特定时间段来得到特定镜头信息,由于视频数据的海量性,这种方法很难快速准确找到特定的需求信息。文章使用彩色直方图技术对视频进行镜头突变检测,实现了通过关键帧图片对视频进行基于内容的镜头回放。
关键词:彩色直方图;突变检测;基于内容的镜头回放
中图分类号:TP301.6 文献标识码:A 文章编号:1000-8136(2010)30-0001-02
21世纪将是信息时代,多媒体信息日益成为主要的数据资源,人们所获取的信息除了传统的文本之外,大量的声音、图像甚至视频数据得到广泛应用。如何对这些数据进行有效地管理和使用,已成为迫切需要解决的问题。基于内容的视觉信息检索技术(Content-Based Video Retrieval,CBVR)随之诞生,得到了国内外多媒体信息领域科技人员的广泛重视和研究,迅速成为多媒体,特别是图像、视频和数据库技术中的研究热点。
CBVR技术可以广泛应用于各种工业、科研领域,如远程监控、多媒体会议、虚拟现实、电视新闻、卫星云图、信息娱乐、交互式数字电视、交互电子商务和视频数字图书馆,尤其值得一提的是交互式数字电视和视频数字图书馆,其广阔的发展前景和巨大的商业价值是其蓬勃发展的强有力的助推剂。
本文借助于彩色直方图,实现了一个基于内容的视屏镜头回放系统VideoRetrievalPlatForm。
1彩色直方图
1.1颜色空间
图像颜色可分为无彩色和有彩色两大类。[1]由于各项技术的进步,无彩色的图像正在逐渐被彩色图像取代。根据人眼结构,所有颜色都可看作是3个基本颜色——红(R,red)、绿(G,green)和蓝(B,blue),不同组合研究人员先后提出了许多种颜色空间(color spaces),[2]如主要用于彩色显示的RGB或彩色处理的HSI空间等。绝大多数彩色图像显示器都采用RGB三色构成图像,Windows操作系统的多数图像格式也以RGB模型作为图像存储的数据。归一化(Normalized)的NRGB(RGB)颜色模型,由于其可以部分规避颜色受阴影及光照变化的影响,[3]在视频图像特征提取中应用广泛,其定义如下:
RN=R/S,GN=G/S,BN=B/S,S=R+G+B (1)
1.2直方图
直方图描述了图像中的颜色分布,是图像中最为可靠的特征。[4]颜色直方图法的核心思想是在一定的色彩空间中对图像各种色彩出现的频数进行统计。首先将颜色区间划分为N个离散的颜色子区间,计算每帧图像中落入每个子区间的像素数目,得到其颜色直方图,然后计算两帧图像直方图的差值,作为距离测度。
全局彩色直方图匹配算法使用整幅图像像素色彩的统计值计算图像之间的帧差。若将颜色空间分割为N个子区间,hi(k)和hj(k)分别表示第i帧和第j帧落入第k个颜色子区间的象
素数目,则两帧间的距离测度函数可以定义如下:
(2)
本文系统采用NRGB空间下的全局彩色直方图,子区间的分割及突变转换检测阈值的确认,参照文献的研究,直方图将0～255的颜色空间划分为64个子区间,同时选取全部帧均差ADF的5倍作为突变转换检测阈值,可以保证比较高的查全率(reacll)和查准率(precision)。
2系统设计
2.1功能及模块
VideoRetrievalPlatForm视频镜头浏览系统,采用彩色直方图技术,数据分析依赖DirectShow SDK,实现了视屏播放,按帧进退,镜头突变检测,镜头关键帧存储,视频镜头按照关键帧回放等功能。包含5个基本模块,分别为视频信息分析模块、视频播放模块、镜头检测模块、镜头浏览模块、数据库操作模块。
2.2系统框架
由于本系统涉及到对视频媒体原始数据流的操作和分析,所以选择Microsoft公司的VC++.Net 2005平台,众所周知,VC++对于图像和多媒体处理方面功能强大。在视频帧的获取和分析方面,采用DirectX 9.0 SDK的成员之一Direct Show SDK。
VideoRetrievalPlatForm的设计基本遵循通用的视频镜头检索模型,镜头的突变检测算法采用基于全局彩色直方图见图1,数据分析依赖DirectShow框架。
图1基于内容的视频浏览系统框架
2.3系统中的功能类设计
为了使系统具有比较好的可扩展性和管理性,采用了类的设计思想,按照Direct Show的运行原理和系统分析的需要,实验中主要设计了十个类,见表1。
表 1VideoRetrievalPlatForm 类设计
类名 类功能描述
CPlayStream 分析视频信息、控制视频定位播放
CMedialHandle 负责视频图像的截取
CImageShow 关键帧图库显示
CDataBaseControl 数据库操作
CVideoShotMatch 镜头匹配
CVideoPartitionClassOneDlg 直接象素差法
CVideoPartitionClassTwoDlg 全局彩色直方图的镜头分割算法
CVideoBrowseDlg 基于内容的镜头浏览
CErrorCodeShow 错误信息处理
在进行镜头自动分割之后,可以对视频按照镜头浏览。调出某段新闻视频,自动在下方列出其检测到的全部关键帧图片,点击图片可以实现镜头的快速浏览播放。
3结束语
本文通过对基于内容的视频检索技术的研究,借助于VC++.NET,COM,DirectShow等技术实现了一个VideoRetrieval PlatForm系统,该系统具有提取分析视频的基本信息,对视频进行播放,按帧前后步进,对镜头的突变进行检测,关键帧存储,按关键帧对视频进行基于内容的回放等功能。本文的研究成果尤其对监控系统具有实际的应用价值,在监控系统的视频中,我们常常感兴趣的只是那些发生突变的镜头,按照关键帧对镜头回放可以迅速实现特定镜头的定位,帮助工作人员分析突发事件。
参考文献
1 章毓晋.图象工程(上册)——图象处理和分析[M].北京:清华大学出版社,1999:17～20
2Theo Gevers, Arnold W M Smeulders. Color-Based Object Recognition
[J]. Pattern Recognition, 1999:453～464
3 黄庆明等.基于色彩学习的彩色图像分割方法[J].计算机研究与发展,1995(9):60～64
4 STEFAN Schulte *, VALE’RIE De Witte. Histogram-based fuzzy colour filter for image restoration[J]. Image and Vision Computing, 2007(11):1377～1390
Research and Implementation for a Content-Based Video playback system
Li Gang, Zhang Ling, Duan Fu
Abstract:Monitor video playback should get specific scenario by way of either traditional drag-and-drop or location on time line for long time, which is hard to search for necessary information fast and accurately due to mass of video data. However, the method used present in the paper that employs, color histogram to detect short-cut and implements content-based video playback by analyzing key frame image.
Key words:Color Histogram; shot-cut detection; Content-Based Video playback
关键词:彩色直方图;突变检测;基于内容的镜头回放
中图分类号:TP301.6 文献标识码:A 文章编号:1000-8136(2010)30-0001-02
21世纪将是信息时代,多媒体信息日益成为主要的数据资源,人们所获取的信息除了传统的文本之外,大量的声音、图像甚至视频数据得到广泛应用。如何对这些数据进行有效地管理和使用,已成为迫切需要解决的问题。基于内容的视觉信息检索技术(Content-Based Video Retrieval,CBVR)随之诞生,得到了国内外多媒体信息领域科技人员的广泛重视和研究,迅速成为多媒体,特别是图像、视频和数据库技术中的研究热点。
CBVR技术可以广泛应用于各种工业、科研领域,如远程监控、多媒体会议、虚拟现实、电视新闻、卫星云图、信息娱乐、交互式数字电视、交互电子商务和视频数字图书馆,尤其值得一提的是交互式数字电视和视频数字图书馆,其广阔的发展前景和巨大的商业价值是其蓬勃发展的强有力的助推剂。
本文借助于彩色直方图,实现了一个基于内容的视屏镜头回放系统VideoRetrievalPlatForm。
1彩色直方图
1.1颜色空间
图像颜色可分为无彩色和有彩色两大类。[1]由于各项技术的进步,无彩色的图像正在逐渐被彩色图像取代。根据人眼结构,所有颜色都可看作是3个基本颜色——红(R,red)、绿(G,green)和蓝(B,blue),不同组合研究人员先后提出了许多种颜色空间(color spaces),[2]如主要用于彩色显示的RGB或彩色处理的HSI空间等。绝大多数彩色图像显示器都采用RGB三色构成图像,Windows操作系统的多数图像格式也以RGB模型作为图像存储的数据。归一化(Normalized)的NRGB(RGB)颜色模型,由于其可以部分规避颜色受阴影及光照变化的影响,[3]在视频图像特征提取中应用广泛,其定义如下:
RN=R/S,GN=G/S,BN=B/S,S=R+G+B (1)
1.2直方图
直方图描述了图像中的颜色分布,是图像中最为可靠的特征。[4]颜色直方图法的核心思想是在一定的色彩空间中对图像各种色彩出现的频数进行统计。首先将颜色区间划分为N个离散的颜色子区间,计算每帧图像中落入每个子区间的像素数目,得到其颜色直方图,然后计算两帧图像直方图的差值,作为距离测度。
全局彩色直方图匹配算法使用整幅图像像素色彩的统计值计算图像之间的帧差。若将颜色空间分割为N个子区间,hi(k)和hj(k)分别表示第i帧和第j帧落入第k个颜色子区间的象
素数目,则两帧间的距离测度函数可以定义如下:
(2)
本文系统采用NRGB空间下的全局彩色直方图,子区间的分割及突变转换检测阈值的确认,参照文献的研究,直方图将0～255的颜色空间划分为64个子区间,同时选取全部帧均差ADF的5倍作为突变转换检测阈值,可以保证比较高的查全率(reacll)和查准率(precision)。
2系统设计
2.1功能及模块
VideoRetrievalPlatForm视频镜头浏览系统,采用彩色直方图技术,数据分析依赖DirectShow SDK,实现了视屏播放,按帧进退,镜头突变检测,镜头关键帧存储,视频镜头按照关键帧回放等功能。包含5个基本模块,分别为视频信息分析模块、视频播放模块、镜头检测模块、镜头浏览模块、数据库操作模块。
2.2系统框架
由于本系统涉及到对视频媒体原始数据流的操作和分析,所以选择Microsoft公司的VC++.Net 2005平台,众所周知,VC++对于图像和多媒体处理方面功能强大。在视频帧的获取和分析方面,采用DirectX 9.0 SDK的成员之一Direct Show SDK。
VideoRetrievalPlatForm的设计基本遵循通用的视频镜头检索模型,镜头的突变检测算法采用基于全局彩色直方图见图1,数据分析依赖DirectShow框架。
图1基于内容的视频浏览系统框架
2.3系统中的功能类设计
为了使系统具有比较好的可扩展性和管理性,采用了类的设计思想,按照Direct Show的运行原理和系统分析的需要,实验中主要设计了十个类,见表1。
表 1VideoRetrievalPlatForm 类设计
类名 类功能描述
CPlayStream 分析视频信息、控制视频定位播放
CMedialHandle 负责视频图像的截取
CImageShow 关键帧图库显示
CDataBaseControl 数据库操作
CVideoShotMatch 镜头匹配
CVideoPartitionClassOneDlg 直接象素差法
CVideoPartitionClassTwoDlg 全局彩色直方图的镜头分割算法
CVideoBrowseDlg 基于内容的镜头浏览
CErrorCodeShow 错误信息处理
在进行镜头自动分割之后,可以对视频按照镜头浏览。调出某段新闻视频,自动在下方列出其检测到的全部关键帧图片,点击图片可以实现镜头的快速浏览播放。
3结束语
本文通过对基于内容的视频检索技术的研究,借助于VC++.NET,COM,DirectShow等技术实现了一个VideoRetrieval PlatForm系统,该系统具有提取分析视频的基本信息,对视频进行播放,按帧前后步进,对镜头的突变进行检测,关键帧存储,按关键帧对视频进行基于内容的回放等功能。本文的研究成果尤其对监控系统具有实际的应用价值,在监控系统的视频中,我们常常感兴趣的只是那些发生突变的镜头,按照关键帧对镜头回放可以迅速实现特定镜头的定位,帮助工作人员分析突发事件。
参考文献
1 章毓晋.图象工程(上册)——图象处理和分析[M].北京:清华大学出版社,1999:17～20
2Theo Gevers, Arnold W M Smeulders. Color-Based Object Recognition
[J]. Pattern Recognition, 1999:453～464
3 黄庆明等.基于色彩学习的彩色图像分割方法[J].计算机研究与发展,1995(9):60～64
4 STEFAN Schulte *, VALE’RIE De Witte. Histogram-based fuzzy colour filter for image restoration[J]. Image and Vision Computing, 2007(11):1377～1390
Research and Implementation for a Content-Based Video playback system
Li Gang, Zhang Ling, Duan Fu
Abstract:Monitor video playback should get specific scenario by way of either traditional drag-and-drop or location on time line for long time, which is hard to search for necessary information fast and accurately due to mass of video data. However, the method used present in the paper that employs, color histogram to detect short-cut and implements content-based video playback by analyzing key frame image.
Key words:Color Histogram; shot-cut detection; Content-Based Video playback