论文部分内容阅读
人物关系是帮助用户理解视频故事情节的重要线索,尤其在故事性极强的视频里,更能揭示视频故事内容的高层语义信息。目前,基于人物的视频分析研究更多关注把每个人物看成独立个体,忽略了他们之间的客观人物关系。随着观影用户需求不断提高,人们更关心能够快速反映整个故事情节发展的人物关系网络。挖掘视频中人物关系的目的在于根据视频内容,把人物关系作为研究主体,通过视频内容分析技术获得视频人物关系的高层语义信息。挖掘视频人物关系可从人物共生角度考虑,即人物在镜头单位下共同出现的概率情况。这降低了挖掘的复杂程度且能高效地挖掘出有用信息。关联规则是借助于条件概率反应事务之间相关性的一种模式,在视频人物关系分析中,可做到人物共现相关性的量化描述,获得人物关系网络,进而分析视频内容的高层语义。首先,对原始视频进行预处理,得到关键帧序列。本文结合多种感知哈希方法进行视频镜头的边界检测,并以镜头边界帧为每组镜头的关键帧。其次,对图像帧进行修复以及人脸识别。针对提取到的关键帧中过曝模糊图像,提出基于动态卷积模板的过曝模糊图像修复算法,得到修复的关键帧图像。对关键帧序列采用方向梯度直方图和级相联分类器结合的方法进行人脸检测,使用ERT算法对获得的人脸框进行人脸特征点提取,对人脸特征点和人脸框使用ResNet网络生成特征向量,采用CW聚类算法对特征向量进行聚类获得人脸数据项。最后,将镜头单位下共同出现的人脸项集看作同一事务,获得人脸事务数据库,对其进行正负关联规则挖掘。本文提出了关系方向、关系影响、关系权重三个关系细化概念。利用MapReduce框架先进行频繁项集挖掘,再对已得到的频繁项集进行相关度和置信度计算,并进行关系影响等规则判断,进而得到基于正负关联规则的视频人物关系网络。实验结果表明,同视频内容的客观人物关系图相比,本文方法所挖掘的结果图获得客观人物关系的基本结构,结点的平均度数正确率均在62%以上,相对于其他人物关系挖掘方法,本文完成了人物关系的细化,对视频内容分析如视频推荐、视频摘要的研究等视频内容分析工作具有较强的参考价值。