基于标记分布学习的人类属性视频分析

来源 :东南大学 | 被引量 : 1次 | 上传用户:Eltonxin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高清摄像头的普及和网络视频爆炸式地增长,针对视频内容进行分析越来越受到人们的重视。而其中对于视频中人的各类属性的研究尤其受到关注,包括人的个体属性研究,如个体的行为识别、表情识别、行为跟踪等,还包括群体属性研究,如人群数目估计、群体行为识别等。其中不少人类属性具有一定的渐变性,例如复杂运动行为的相邻子行为之间、监控视频中人数的变化等。这些人类属性的渐变性在视频中是非常普遍的,而以往的研究往往忽视了这一特性,仅采用单个标记表示这些属性。如采用单个行为标记来表示视频分段、或采用单个人数标记表示当前帧图像等,均无法完全准确地表达视频或图像所包含的多重属性信息。因此,本文针对视频中具有渐变性的人类属性进行研究,提出采用一种新的机器学习范式“标记分布学习”来对其进行建模,从而更好地实现对视频人类属性的分析和理解。本文主要工作及创新如下:(1)提出了生成视频分段及其对应的标记分布的双向滑动窗方法。视频一般包含行为和背景,而行为通常由多个有序的子行为构成。我们把子行为和背景统称为语义单元。传统的方法仅采用单个语义单元标记表示视频分段,未考虑视频相邻语义单元的渐变性和界限的模糊性。本文提出采用标记分布对视频分段语义标记的模糊性进行建模。对视频中每个语义单元分段进行前向和后向滑动,从而生成不同的视频分段及其对应的标记分布,并根据视频相邻分段特征的相似性,对生成的视频分段对应的标记分布进行局部调整。利用标记分布学习算法,可以高效地得到视频分段到标记分布的映射关系。实验结果表明,本文所提出的采用标记分布表示视频分段的方法,在视频行为解析上显著地优于传统的采用单个语义标记的表示方法。(2)提出了结合标记分布的分段正则文法进行“软”视频行为解析的方法。传统的方法采用视频分段特征与单个语义标记的匹配程度对视频行为的划分进行打分,仅考虑了视频行为分段中单个的语义标记,而本文提出采用基于标记分布的度量准则衡量视频分段与多个语义标记的相关性。该方法采用Kullback–Leibler散度对视频分段对应的标记分布与标准标记分布之间的距离进行度量,利用所有视频分段的平均打分替换原有的分段加和打分衡量当前所有视频分段划分的准确性,最后基于动态规划算法得到视频行为解析的结果。该方法可以准确地衡量视频分段所包含的多种语义信息,同时避免了加和打分偏向于划分出更多行为分段的问题。通过实验,在三个视频行为数据集上,验证了本文所提出的“软”视频行为解析方法比现有算法可以更准确地从视频中划分出行为和背景分段。(3)提出了自适应的混合高斯标记分布学习方法,利用混合高斯标记分布对视频帧的人数属性的模糊性和渐变性进行建模。传统的室内人数统计算法大多基于头部或者头肩检测,当室内场景中人员互相严重遮挡而无法看清头肩时,无法准确地估计出人数。基于此,本文提出在室内前景提取的基础上计算出前景特征,采用基于混合高斯的标记分布学习方法得到前景特征到人数的映射,减少了算法对于前景提取结果的依赖。考虑到室内人数较多时易出现互相遮挡而导致人数标定的模糊性,本文提出采用具有不同方差的离散高斯分布来表示视频帧的人数。此外,视频相邻帧人数变化也会影响当前帧人数标记的模糊度。因此,本文提出采用混合高斯模型来权衡相邻帧对当前帧人数标记分布的影响。在训练标记分布学习模型时,该方法采用混合?2,1范式对模型权重进行约束,保证了预测相邻人数的权值具有局部相关性。实验结果表明,所提出的方法在七个室内场景人数统计数据集上,比现有的方法预测的人数具有更高的精度和稳定性。
其他文献
从1949至2020年,新中国走过了波澜壮阔的70多年,世界经济地位稳步提升。作为宏观调控的主要政策手段,货币政策同样具有曲折而辉煌的发展历程。货币政策能够通过特定传导渠道
近年来,各类灾难事故频繁发生,对人类社会造成了较大伤害。灾难突发事件的报道备受广大民众的关注,并影响着民众对灾难事件的认知。新闻媒体应肩负起信息传播、舆论引导的重任,维护社会的稳定和谐。2018年7月5日,在泰国普吉岛附近,两艘载有127名中国游客的游船突遇特大暴风雨发生倾覆事故,《人民日报》的全国性直播平台“人民直播”对此次事故进行了连续直播报道,起到了重要的引领作用。“人民直播”作为一种全符号
运动学习是一种学习新动作以及改变现有动作的能力,与大脑诸多机能密切联系。基于神经生理学的运动学习研究一方面可以帮助人类进一步理解与运动功能相关的神经生理、病理机
当今世界,文化产业已经成为经济和社会发展的重要力量,不仅发达国家将文化产业作为新的经济增长点,就是作为发展中国家的中国近年来也十分重视文化产业。作为中国特有的武术
针对虚拟同步发电机(VSG)潜在的同步频率处功率振荡问题,建立二阶VSG的小信号动态模型,分析VSG输出功率与虚拟电动势、功角的关系,指出较小的线路阻抗比R/X使控制系统在同步
作文讲评是作文教学中的一个重要环节。从作文的命题、审题、批改、讲评四个环节来看,教师在作文教学中,往往会有意识或无意识忽略讲评环节,究其原因是多方面的。作文讲评影
<正>新课程改革下的历史教材相对于过去,整合幅度是比较大的,一节课的容量大,头绪多。在这样的情况下,如果还是按照传统的老师讲解,肯定是不能适应新课改革的,既不能完成教学
随着社会经济的快速发展和城市化进程的加快,空气质量也面临着一些挑战,以高浓度细颗粒物(PM2.5)为代表的区域型雾霾现象时有发生。近几年,对污染源排放的有效控制,天津市雾
裙带菜(Undaria pinnatifida)是一种大型可食用海藻,具有较高的药用和经济价值。它含有多种活性物质,其中岩藻多糖是近年来最受关注的一类活性物质。岩藻多糖主要由岩藻糖和
党的十八大以来,全面从严治党实现了纵深发展,原因之一是中国共产党党内巡视巡察制度的有效运用,其在党风廉政建设和反腐败工作中的“利剑”作用不可替代。市县巡察制度起步