基于人脸聚类的视频结构化分析

来源 :北京邮电大学 | 被引量 : 5次 | 上传用户:drjcs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频数据是缺乏文本数据里定义的有索引、摘要、关键词、标题等内容信息,其最大颗粒度是整个文件,最小颗粒度是单个帧,中间没有自然的过渡层次。按照时间顺序逐步播放的传统浏览方式,因其占用时间长,缺乏智能的内容定位,具有很差的用户体验,尤其在如今互联视频内容服务的视频分享网站中。以故事为单元的短视频备受用户喜爱,是下一代互联网视频内容的主流。为了自动从广播电视视频流中获得这样的短视频单元,本文重点研究了视频结构化分析技术,并提出了基于人脸聚类的视频结构化分析方法。与传统方法相比,本文的主要创新工作与成果如下:设计并实现了一个由镜头自动分割,关键帧提取与人脸区域检测,人脸相似度计算并无监督聚类,及利用人脸聚类结果进行视频结构化分析等模块组成的系统。该系统是视频网站后端的重要组成部分,输入整个视频文件,输出结构标签结果文件,使得网页播放器具有结构可视化效果和智能定位的快进功能。结合Gabor和SIFT两种特征作为人脸相似性测度方法,Gabor是人脸纹理特征的全局描述,SIFT是人脸的局部特征点描述。这两种特征具有互补性,有效的克服了视频图像中人脸的光照,姿态和表情问题,在LFW (Label Face in Wild)公开人脸数据集进行人脸验证(verification)进行的评测实验中,该方法取得了0.7927的平均精度。通过基于图理论的人脸聚类把具有相同语义特性的时间序列标签聚集到一起,也就使人脸图像所在镜头聚集到一起。利用同一类的镜头组在整个视频的时间轴上具有特定的时间分布特性进行主持人检测,取得很好的效果。在3个法国电视台16个视频,总共515分钟的新闻数据集上的主持人检测实验中,达到了93.205的F-Measure值的精度。
其他文献
·案 例·rn据报道,韩国有 45.6% 的青少年不能与家人一起吃早饭,38.6% 的青少年不能与家人一起吃晚饭.在我国同样出现了上述问题,这样的现状让人感到十分担忧,因为它不仅会对
期刊
窗帘是居家生活不可缺少的一部分,不仅具有保护私隐、利用光线、装饰居室、吸音隔噪的作用,还与我们的健康息息相关.那么,我们应如何选择窗帘呢?
期刊
目的:1.观察高脂饮食(HFD)能否诱导SD大鼠胸主动脉血管环舒缩功能变化及其病理学改变,以及非诺贝特(FF)是否能够保护血管。2.研究棕榈酸(PA)是否减弱正常雌性大鼠内皮依赖性血
机载 WAS-GMTI(Wide Area Surveillance Ground Moving TargetIndication)模式通过天线在方位向快速反复的扫描,可以实现远距离大范围地面场景中的运动目标的高重访率探测,在军
1.8 亿年前的一个下午,太阳缓缓西沉,血色的晚霞笼罩着一块河口冲积平原,平原上遍布葱郁的苏铁植物.在一片深绿色中,一只恐龙拖着长长的尾巴,正在专心用餐 :苏铁种子.湿热的
期刊
期盼已久的周末终于到了,热爱生活的你决定用一杯“五谷营养米糊”来开始美好的一天.于是,你准备好花生、核桃、糙米、小米、红豆,将它们清洗干净,放入你的“新宠”——破壁
期刊
很多“上班族”和“减肥族”没时间运动,又担心过度节食会影响健康,因此将目光投向代餐粉.广东省农村电子商务协会、华南理工大学食品科学与工程学院 2019 年联合发布的首份
期刊
进入冬季以来,我国多地出现降雪现象.但是,其中一部分的天降冰粒并不是降雪而是下霰.那么,这个“霰”是什么呢?它与树枝上凝结的冰晶是一回事吗?别急,今天我就向大家介绍一下
期刊
随着雷达等工程技术的不断发展,系统对数据存储性能的要求日益提升,数据量的剧增使得可靠的高速大容量存储设备成为了系统的基本配置。本文基于星载雷达原理样机研制项目,设计了
朋友在网上晒的晚餐是用心熬的八宝粥,然而,配的小菜一看就是购自于超市.我留言指出“粥和菜,一为做,一为买,似乎和谐度稍差”.不多时,手机提示另一个共同的朋友也发表了意见
期刊