伴随社交媒体快速发展,人们对短视频的需求越发旺盛;而视频中情感的分析已经成为视频理解任务中一个非常重要的热点问题。针对含短注释文本的短视频(如GIF短视频),本文提出了一种有效融合视觉和文本信息的多模态情感识别方法及系统。首先,利用3D卷积神经网络(3D CNN)和卷积长短时记忆(ConvLSTM),直观感知目标短视频中的序列化特征,并有机构建视觉情感分析模型。然后,利用softmax分类器计算短视频在给定的三种情感类别中的分类概率,将其从概率区间映射到情感分值区间后视为短视频的视觉情感得分。然后,针对短视频的描述性语句和短注释文本,采用情感词森林筛选,并利用SentiWordNet3.0工具计算相应标注文本的情感分值。其次,为了提高情感分值的有效性,设计了一种加权融合短视频的视觉情感得分与注释文本的情感得分的情感评分函数;最后,在穷举框架下采用网格搜索法获取模型中情感评分函数的最佳平衡系数。在T-GIF数据集、GSO-2016数据集与Adjusted-GIFGIF情感数据集上的实验结果和分析表明,与目前的短视频情感分析方法相比,本文提出的融合视觉与文本的短标注视频情感分析方法具有更好地分类效果,在提高了短视频情感分类的效果的同时,回归出可以描述情感强烈程度的情感分值,更好地对短标注视频进行了学习与理解。