基于内容的视频场景摘要技术的研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:ZF6VE5
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字视频属于国家重点发展的信息产业领域,随着宽带网络和数字电视的迅速发展,视频点播、交互电视、视频网站等应用需求将越来越广泛,这些应用都将共同面临大量涌现的数字化视频数据。但线性的、非结构化的视频数据形式往往使得视频浏览效率非常低下。视频摘要技术就是在这种情况下诞生的,该技术的结果是对原始视频主要内容的概括,对基于视频的各种应用具有广泛的意义。   本文在综合分析已有的基于内容的视频摘要方法的基础上,提出基于改进的蚁群算法与凝聚相结合的关键帧提取方法、基于语义的视频场景检测方法以及基于时空特征融合的视觉注意模型的场景摘要生成方法,并设计实现相应的原型系统。具体内容如下:   (1)提出改进的蚁群算法与凝聚相结合的关键帧提取方法。该方法先通过改进的蚁群算法自组织地形成一个初始聚类,再对初始聚类结果执行凝聚算法,优化初始聚类结果并加快算法收敛,最终提取代表整个镜头内容的关键帧。从而有效地解决传统聚类法提取关键帧时对初值敏感、容易出现早熟和需利用先验知识来确定聚类类别数等问题。   (2)提出一种基于语义的视频场景检测方法。该方法首先提取视频帧的多个底层特征,并对其进行核函数级的线性加权处理,然后利用支持向量机(SVM)对处理后的特征向量进行语义分类预测,生成镜头的语义概念矢量,最后根据语义概念矢量对镜头聚类得到场景。从而克服了传统场景检测中只采用视频底层特征而不考虑视频高层语义的问题,并较好地实现了场景检测。   (3)提出基于时空特征融合的视觉注意模型的场景摘要生成方法。将时空特征融合的视觉注意模型引入到场景摘要生成过程中,提取镜头的空间域显著度和时间域显著度,将空间域显著度和时间域显著度进行结合得到镜头的视觉注意度;同时,考虑镜头的持续时间,提出镜头的持续度,并将镜头的视觉注意度和时间持续度加权求和,得到镜头的重要度。根据镜头重要度的大小选出场景中重要的镜头,通过把重要镜头的关键帧按时序排列输出,生成代表场景主要内容的场景摘要。   (4)采用面向对象思想设计并开发场景摘要生成的原型系统。该系统包括镜头边界检测,关键帧提取,场景检测,场景摘要生成等功能模块。并通过实验对比验证上述方法的有效性。
其他文献
随着水资源管理问题的日益严峻,利用水文模型模拟流域等水循环过程是解决水资源管理问题行之有效的途径。本文借助SWAT模型,以大汶河流域为研究区,采用SUFI-2方法进行参数的
车辆数量的迅猛增长导致交通拥挤甚至交通事故频繁发生,对交通事件进行检测能够有效地解决这一问题,而基于视频的检测方法更是重点研究领域。但是现有视频中存在很多降低检测
数字家庭是指以计算机技术和网络技术为基础,通过多种互连方式将家庭中的各类电器连接在一起,实现设备之间通信及数据交换,以方便人们的生活。然而数字家庭不仅仅是指家电设备,更
最近几年,嵌入式技术在集成电路大规模发展的带动下发展迅速,在工业控制、智能控制、医疗、电子等方面都发挥着重要的作用。近年来,嵌入式产品在医疗卫生方面的应用日渐广泛
图像噪声去除是图像恢复的主要内容之一,其主要任务是去除所观测到图像的噪声部分,从而得到理想的图像。近年来,基于变分方法的图像扩散技术成为图像去噪的主流方法之一。该
隐私保护是数据挖掘领域中一个重要的研究课题,其目标是在不泄露隐私信息的前提下,获得精确的挖掘结果。数据挖掘中的隐私保护通常有两种解决途径:安全多方计算和数据扰乱。
实时、准确的获取各种交通参数,是智能交通管理的前提。视频监控方法是通过分析拍摄的交通图像序列,对交通目标进行检测、识别和跟踪,并对其行为进行分析和判断。与其它检测
计算机网络的普及,使得针对互联网衍生的应用程序越来越多。同时随着电子商务与P2P (Peer-to-Peer)网络的出现,使网络用户对网络的安全性以及带宽需求提出了更高的要求。自20
无线移动设备的大量使用和普及,使容迟网络(Delay Tolerant Networks, DTN)成为目前无线网络应用研究的热点。这种靠移动设备自组织成的网络,其拓扑结构随着节点的高速移动不断
研究无线传感器网络一个重要目的就是在满足网络应用需求和保证数据通信安全的前提下,尽可能地延长整个网络的生命周期。在以分簇方式组织的传感器网络中,靠近基站的节点因转