基于瞳孔反应的隐式视频情感标注

来源 :深圳大学 | 被引量 : 2次 | 上传用户:zbrichard
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,视频传达出的情感正逐渐成为用户选择和观看视频的一个重要参考。随着视频数据量的激增,视频情感内容自动标记变得愈加重要。对于用户来说,如果海量视频能够被自动标记其情感类别,用户可以方便地使用情感关键词来检索视频。对于商业来说,视频网站可以针对用户喜好,为用户推荐相关的情感类视频。因此,对这一问题的探索将使用户和商业都能从中获益。隐式视频情感标记是近些年兴起的一种情感内容分析方法,该方法主要使用观看者的生理信号和自发性可视行为作为分析数据,进而通过分析该数据识别用户观看视频时的情感类别,该类别被作为视频的情感标记。心理学研究发现,人在观看情感图片时的瞳孔孔径变化可以反映观看者的情感状态。虽然瞳孔反应在之前已被用于视频情感内容分析,但是实验结果并不够好,其中一个重要原因是不同个体间的瞳孔孔径差异会显著影响情感识别的准确性。为了解决该问题,我们为所有个体定义了统一的瞳孔孔径基准值计算公式。基于该公式,可以为每个主体计算出其特有的瞳孔孔径基值,该值在减小瞳孔孔径差异中起着至关重要的作用。瞳孔孔径变化序列是时序信号,但在之前的研究中并未考虑信号的时序特性。因此,我们构建了瞳孔孔径变化的序列特征,并运用循环神经网络(Recurrent Neural Network,RNN)网络对其中的时序关系进行建模。虽然RNN能够学习到序列数据中的时序表征,但是训练RNN需要大量的训练样本。否则,RNN模型会因训练不充分而导致情感识别精度较低。因此,我们同时集成了在少样本情况下也有优异表现的支持向量机(Support Vector Machine,SVM)作为另外一个分类器,SVM使用全局特征进行训练。RNN和SVM都会输出不同情感类别的预测概率。最后,将这两个模型的概率估计结果进行求和平均,并输出最终的情感识别结果。在标准数据集MAHNOB-HCI上,与现有的最好方法相比,我们提出的方法取得了更好的实验结果。
其他文献
现如今,由于图像及视频分割具有的实用价值和对理论的引导作用,所以它仍然是计算机视觉领域的一个重要研究方向,也是众多基于图像及视频分析的高层视觉应用的基础研究内容,为
高效、准确地从卫星影像中自动获取道路信息是计算机视觉与信息工程研究领域的热点问题之一。以往对卫星影像中道路网的提取主要专注于线状特征的提取,有关道路宽度估计方法
随着互联网的发展,人们可以通过各种爬虫软件、搜索引擎获取大量的纹理素材。理想的纹理素材能够为艺术家提供丰富的创作灵感,帮助设计师绘制更加真实的场景,辅助医生进行科
蜜蜂是一种非常重要的经济昆虫,也是一种重要的真社会性昆虫的模式生物,工蜂的舞蹈语言是社会行为的典型代表性特点。为研究蜜蜂的舞蹈行为的获得机制,本研究通过组成中蜂和
社区挖掘是图数据挖掘的一项基本任务。在现有的图数据中,图中的边上通常都包含时间信息,例如科学家合作网络,电信话务网络,微信社交网络等等。绝大多数现有的社区挖掘算法主
在基于地理位置的社交网络中,POI(Point-of-interest)推荐系统利用虚拟网络的签到功能来鼓励人们分享他们在实际中的地理位置信息以及生活乐趣。最新的POI推荐算法将推荐地点
本课题组提出了一种新的具有操作简便、荷载控制精准等优点的荷载与环境试验交替进行的多因素耦合模拟方法。但此方法相对于带加载装置的持续载荷方式多因素耦合模拟方法的合
为探讨杉木(Cunninghamia lanceolata(Lamb.)Hook.)光合及叶绿素荧光参数在大气氮沉降和磷添加情况下的变化,实验以10龄杉木为研究对象,共设9个处理水平:低氮(N30:30 kg·ha-
NiOx是一种宽禁带(Eg>3.50 eV)p型半导体,其光学透射率高、导电性好、化学稳定性高、成本低廉,并且具有与金属卤化物钙钛矿材料相匹配的能级结构,非常适合作为钙钛矿太阳能电池
社会生产力的高速发展为人们生活带来了丰厚的物质条件,在这样的社会背景影响下,社会大部分人生活作息出现不规律现象。加之不良饮食习惯、高度紧张的思想压力、城市环境污染