论文部分内容阅读
随着高清摄像头的普及和网络视频爆炸式地增长,针对视频内容进行分析越来越受到人们的重视。而其中对于视频中人的各类属性的研究尤其受到关注,包括人的个体属性研究,如个体的行为识别、表情识别、行为跟踪等,还包括群体属性研究,如人群数目估计、群体行为识别等。其中不少人类属性具有一定的渐变性,例如复杂运动行为的相邻子行为之间、监控视频中人数的变化等。这些人类属性的渐变性在视频中是非常普遍的,而以往的研究往往忽视了这一特性,仅采用单个标记表示这些属性。如采用单个行为标记来表示视频分段、或采用单个人数标记表示当前帧图像等,均无法完全准确地表达视频或图像所包含的多重属性信息。因此,本文针对视频中具有渐变性的人类属性进行研究,提出采用一种新的机器学习范式“标记分布学习”来对其进行建模,从而更好地实现对视频人类属性的分析和理解。本文主要工作及创新如下:(1)提出了生成视频分段及其对应的标记分布的双向滑动窗方法。视频一般包含行为和背景,而行为通常由多个有序的子行为构成。我们把子行为和背景统称为语义单元。传统的方法仅采用单个语义单元标记表示视频分段,未考虑视频相邻语义单元的渐变性和界限的模糊性。本文提出采用标记分布对视频分段语义标记的模糊性进行建模。对视频中每个语义单元分段进行前向和后向滑动,从而生成不同的视频分段及其对应的标记分布,并根据视频相邻分段特征的相似性,对生成的视频分段对应的标记分布进行局部调整。利用标记分布学习算法,可以高效地得到视频分段到标记分布的映射关系。实验结果表明,本文所提出的采用标记分布表示视频分段的方法,在视频行为解析上显著地优于传统的采用单个语义标记的表示方法。(2)提出了结合标记分布的分段正则文法进行“软”视频行为解析的方法。传统的方法采用视频分段特征与单个语义标记的匹配程度对视频行为的划分进行打分,仅考虑了视频行为分段中单个的语义标记,而本文提出采用基于标记分布的度量准则衡量视频分段与多个语义标记的相关性。该方法采用Kullback–Leibler散度对视频分段对应的标记分布与标准标记分布之间的距离进行度量,利用所有视频分段的平均打分替换原有的分段加和打分衡量当前所有视频分段划分的准确性,最后基于动态规划算法得到视频行为解析的结果。该方法可以准确地衡量视频分段所包含的多种语义信息,同时避免了加和打分偏向于划分出更多行为分段的问题。通过实验,在三个视频行为数据集上,验证了本文所提出的“软”视频行为解析方法比现有算法可以更准确地从视频中划分出行为和背景分段。(3)提出了自适应的混合高斯标记分布学习方法,利用混合高斯标记分布对视频帧的人数属性的模糊性和渐变性进行建模。传统的室内人数统计算法大多基于头部或者头肩检测,当室内场景中人员互相严重遮挡而无法看清头肩时,无法准确地估计出人数。基于此,本文提出在室内前景提取的基础上计算出前景特征,采用基于混合高斯的标记分布学习方法得到前景特征到人数的映射,减少了算法对于前景提取结果的依赖。考虑到室内人数较多时易出现互相遮挡而导致人数标定的模糊性,本文提出采用具有不同方差的离散高斯分布来表示视频帧的人数。此外,视频相邻帧人数变化也会影响当前帧人数标记的模糊度。因此,本文提出采用混合高斯模型来权衡相邻帧对当前帧人数标记分布的影响。在训练标记分布学习模型时,该方法采用混合?2,1范式对模型权重进行约束,保证了预测相邻人数的权值具有局部相关性。实验结果表明,所提出的方法在七个室内场景人数统计数据集上,比现有的方法预测的人数具有更高的精度和稳定性。