论文部分内容阅读
随着社交媒体在人们生活中的地位不断提高,越来越多的人倾向于在社交平台上通过GIF短视频的方式表达自己的观点。然而由于视频内容信息复杂,现有的视频情感分析方法不能有效提取视频的空间特征,以及难以对视频帧进行时序建模,且只针对一个模态对视频情感进行分析往往不能充分表达视频的情感。针对上述问题,本文做了如下工作:(1)针对GIF视频语义信息复杂不能有效提取其时空特征的问题,提出一种基于3D残差网络(Res Net3D)和改进的卷积长短时记忆网络(FConv LSTM)的视频情感分析方法(RFCM)。该方法首先利用Res Net3D获取视频短期局部时空情感特征,再通过FConv LSTM对其进行长期建模,从而得到二维长期时空情感特征。接着在二维时空情感特征的基础上利用卷积神经网络再次学习深层特征。然后通过Softmax分类器得到GIF视频的情感分类。最后在T-GIF数据集、GSO-2016数据集与以及自制的D-GIFGIF数据集上的实验结果表明,该方法能有效提升视频情感分类的效果。(2)针对GIF视频的标注皆为短文本、无上下文语义信息且情感特征不足的问题,提出一种融合词嵌入向量和词语情感向量的文本情感分类方法。该方法首先通过Word2Vec模型获得包含丰富语义的词嵌入向量。然后选取对文本情感影响较大的词语要素来构建词语情感特征向量。为了丰富短文本的情感特征,将词嵌入向量与词语情感向量进行融合。最后利用卷积神经网络对融合信息进行建模,得到文本的情感分类。实验结果表明,该方法能有效提升文本情感的分类效果。(3)针对单一模态情感表达不足的问题,提出一种融合文本信息的短标注视频情感分析方法。该方法首先将视频与文本得到的情感概率映射为该样本的情感强烈值。然后,为了丰富情感的特征表达,设计一种结合视频与文本情感分值的加权融合模型,并采用循环搜索法得到最佳的融合权重,得到融合文本信息的短标注视频情感分析结果。最后在T-GIF、GSO-2016与以及自制的D-GIFGIF情感数据集上进行对比实验,实验结果表明,对比于目前的短视频情感分析方法,本文提出的融合文本信息的短标注视频情感分析方法具有更好地分类效果。