随着信息技术的发展,越来越多的图像和视频出现在人们的生活中和互联网上。如何有效的管理和组织这些多媒体数据成为一个亟待解决的问题。对多媒体内容进行分析与理解,进而对多媒体数据进行基于内容的分类,为有效的管理和组织这些数据提供了新途径。在大量的视频中,人物关系是帮助用户理解视频故事情节的重要线索。尤其是在连续剧和电影这种故事性强的视频中,人物关系包含能够揭示关于视频故事内容的更高层的语义信息。在过去的研究中,基于人物的视频分析主要集中在主要演员列表、人物索引、会议视频分析等几个方面。但是,这些研究只是停留在把每个人物看做独立个体,忽略了他们之间客观存在的社会联系的层面上。随着用户需求的不断提高,用户关心的不仅仅是关于某个特定人物的视频内容,还包括能够有效地反应视频中故事情节发展的人物关系网络。挖掘视频中人物共生关系目的是根据视频内容,把人物作为研究中心,通过视频分析技术来获得视频中的高层语义信息。本文通过建立视频人物关系的分析模型,量化人物关系矩阵并提出通用的局部人物关系描述子,为视频分析和视频检索提供了一种新颖而有效的方法。本文主要研究工作如下:首先,提出一种基于时序上下文的人物关系挖掘的方法。通过对视频数据进行预处理,包括进行视频镜头和场景的切分、人物特征提取和索引,建立了人物关系分析的基础。进一步的,采用一种基于上下文高斯加权的方法来计算人物在每个视频镜头上的共生关系,同时考虑到空间位置对视频人物关系的贡献,融合时空上下文来建立人物关系模型。其次,以基于时空上下文人物关系的挖掘方法为基础,本文提出了基于人物共生性语义的人物关系表达方法,通过对视频进行语义的局部区域划分,自动确定每个描述子的时序数据描述范围,并结合本文已经提出的挖掘方法构成局部人物关系描述子。最后,本章将基于上下文的人物关系挖掘方法和局部人物关系描述子应用到连续剧的视频分析和索引中。在实验中,本文使用了20小时的视频(电视剧“Friends”)作为数据,结合视频层次结构修正的方法构成全局人物关系网络,利用倒排索引建立基于人物关系的语义索引结构。实验结果表明,本文提出的方法能够准确地计算和量化人物共生关系,提取出的局部人物关系描述子能够有效表达视频中的人物关系语义。