基于内容的视频数据模型及视频分析技术的研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:xiachl141
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术和计算机网络技术的发展,数字视频的存储和传输不再是一件困难的事情。数字视频越来越广泛地存在于人们的生活空间中,视频点播(VOD)、数字图书馆等视频服务也开始走进人们的生活。对这些数字视频必须进行有效地管理和组织才能很好地对其进行分析和利用。一个视频数据库就是能够有效管理视频数据,向用户提供基于内容的检索的软件系统。视频数据库原则上应该解决视频数据模型的建立和视频数据的存储、查询和处理操作等问题。  由于视频数据自身内容的丰富性和多样性、结构的复杂性以及具有时空多维结构,传统的数据库技术已经不能满足对视频数据进行有效管理的要求,需要对视频数据进行基于内容的存取和管理。本文以基于内容的视频检索为出发点,提出了一种基于内容的视频数据模型,从几个层次上描述视频数据。以该模型为基础,研究了基于内容的视频分析技术,包括视频镜头分割、代表帧的提取、视频场景聚类及视频内容分层表示等;并在这些基础上实现了对视频的基于内容的检索。论文的主要工作如下:  1)针对现有模型在检索粒度和对象关系描述方面的不足,本文提出了一种基于内容的分层视频语义联想模型。该模型结合了面向对象技术和语义网络表达方法,构造三个层次的信息:概念层次树,场景网络和语义对象网络。利用概念层次树来限定语义,适应不同的应用环境,指导语义对象的生成;通过镜头聚类形成场景网络,表达视频段的时间特性和粗略信息。语义对象及其关系构成的语义对象网络用来表示视频内容,通过分属不同镜头的语义对象的关系来表示镜头间的语义相关度。通过定义一组代数操作,描述了在模型上的数据库计算和数据共享等问题。  2)在比较各种帧间差计算方法的基础上,本文提出了一种综合考虑帧图像的空间特征和颜色特征、采用自适应阈值的镜头边界检测算法。算法综合利用视频帧图像的分块直方图差和象素差异直方图统计方差,根据差值的分布自动计算阈值,能较好地检测出镜头突变和物体运动以及光线变化等情况,对渐变镜头也能达到检测的目标。实验结果表明该方法可以适应不同的视频,并具有较高的查全率(Recall)和查准率(Precision)。  3)针对提取出来的镜头,提出了一种基于最大最小距离聚类获取镜头代表帧的算法。该方法能快速将镜头内的帧按相似度聚类,并且可以根据镜头内容变化的多少来选择相应数量的代表帧。实验表明这种方法实现简单,能较好地表示镜头的内容。  4)在提取镜头代表帧的基础上,提出了一种基于时间约束函数的视频场景构造方法,采用带时间约束的聚类方法来得到相似镜头的聚类,然后对聚类进行分析,构造最终的场景结构,从而得到视频内容的更高层次的表示。此外,为了提高整个视频库的浏览和检索速度,本文提出采用带竞争学习的k均值聚类方法将属于不同视频的镜头组织在一起,形成镜头层次聚类树结构,该方法能够显著降低查询时的镜头比较次数。  5)提出了一种基于分段的快速视频摘要方法,直接对视频进行一次扫描,将其分割成内容变化很小的分段,同时为每个分段提取一个代表帧,从而构成视频的摘要序列。实验结果表明,这种方法能快速有效地提取出视频的摘要序列。  6)提出了在视频分层语义联想模型下的基于内容的检索方法。针对本文提出的视频分层语义联想模型,本文定义了一种类SQL语言来检索视频语义对象、镜头和场景。本文把对模型的基于内容的查询归类为语义相关性查询,时间查询,相似性查询,镜头相关性查询和混合查询。并对每种查询方式提出了例子和相应的查询语言,同时提出了在分层语义联想模型中处理这些查询过程的算法。这几种检索方式涵盖了分层语义联想模型的检索要求。
其他文献
人类主要组织相容性抗原系统(MHC)即白细胞抗原系统(HLA)是人类基因组中多态性最高的区域,在人体免疫系统中处于中心地位。其多态性的研究在科研和临床应用上都具有重要意义。
膜式燃气表是利用具有柔性薄壁腔室通过交替充放气来进行天然气体积计量的仪表,目前广泛应用于城市商用及家用燃气计量。目前现存大量机械膜式燃气表的远程抄表问题尚未得到可靠完善的解决方案。人工抄表计费方法存在人力资源浪费、数据更新滞后、无法实现家用燃气信息的实时监控及无法实现工况气体体积温压修正等问题。为此,本文设计一种膜式燃气表燃气间接计量终端,在不对表体进行改造的前提下,通过加装附加装置的方法可以完成
本文通过对荣华二采区10
期刊
农药残留问题是影响我国食品质量与安全的重点问题之一。它不仅严重了阻碍了我国对外贸易经济的发展,而且还严重危害着人类的生命安全。在农药的使用和残留中以有机磷农药的
“汤书记,我要150斤西红柿、20斤草莓……”“老汤,我要100斤青椒和50斤草莓……”2020年2月5日,河南省孟州市槐树乡源沟村的大棚里一派紧张忙碌的气氛,村党支部书记汤长军的
期刊
AcMNPVorf-51基因是1994年MarinD等对AcMNPV基因组全序列进行分析预测的156个ORF中的一个。该基因由957个核苷酸组成,编码含318个氨基酸残基的大小为37KDa的蛋白质,多年以来,未
本文研究了黄连提取物和黄连素对乳腺癌细胞MCF-7和MDA-MB-435S生长增殖的抑制及其对细胞内氧化还原平衡的影响。 方法:MTT法检测药物(黄连提取物、黄连素)和抗氧化剂(NAC
本文通过对荣华二采区10
期刊
在任务型教学模式下,小组合作学习受到广大教师的关注。课堂上,教师应根据不同的课型组织学生开展不同形式的合作学习活动,同时,也应该注重培养学生的合作学习能力,这样才能达到教
长期在白蚁防治和预防中使用的氯丹、灭蚁灵等常规化学药剂,基本上都是化学结构十分稳定,在环境中难以降解的化学药物。大量的证据证明这些药物对人类的生存环境及对水资源污染