论文部分内容阅读
随着计算机、互联网和多媒体技术的迅速发展,快速地搜索及有效地管理海量的多媒体已成为目前迫切需要解决的问题,并且成为近年来的研究内容热点。本文分别从基于文本语义的跨媒体搜索和视频中文字的检测识别和视频来源识别这三个方面就基于内容的视频搜索进行研究,提出一些新的算法和框架。1、在基于语义的跨媒体视频搜索方面,提出一种依据查询内容,对来自于不同媒体的索引分别进行搜索的视频检索框架,系统框架分为基于文本语义的视频搜索和基于图像音频等媒体语义的视频搜索两个部分。实现了文本分析预处理、文本和视频内容的概念语义提取,字幕、音频、视频来源等媒体的概念语义检测,并利用lucene完成检索和排序。该系统在TRECVID2012的基于语义的视频搜索任务(KIS)的测试集中进行测试,排名第四名,充分体现了所提出的框架的有效性。2、在语义提取和分析方面,相比于其他对视频中语义概念的检测,视频中的文字对于直接理解视频的内容有重要作用,因为视频中出现的文字,特别是标题和字幕,是一种对视频内容或高层语义十分有效的描述信息,并且其内容比检测其他内容对整个视频的语义描述更具直接性。针对视频中文字的检测和识别,提出并实现了一种视频中静态字幕和滚动字幕的检测方法,提取角点和光流等视觉特征,训练支持向量机(Support Vector Machine, SVM)作为分类器,将视频中的文字和字幕检测并提取出来,经过后处理,并借助光学字符识别(Optical Character Recognition, OCR)软件识别。该算法在数据集中进行测试,证明了其有效性。3、在语义提取和分析方面,在现有的主要针对场景、物体等视频或者图片内容的概念语义检测器之外,提出并实现了一种对视频来源出处的检测,重点是对视频来源标识——台标的识别算法。采用两级级联检索策略,使用边缘模板、RGB空间颜色直方图、方向梯度直方图、改进的γ-LBP作为视觉特征,逐级采用最近邻搜索的方法计算图像台标区域与模板的相似度。在自建的数据集上进行测试,证明了这种算法的有效性。这种对视频来源出处的检测,可以有效限定并减少搜索的范围,直接影响着视频搜索的效率。