基于视觉和文本的标注短视频情感分析研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:xieshanxu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G商用平民化以及计算机互联网产业的飞速发展,抖音、快手等短视频平台以及微博、微信等社交平台发展迅速,社交媒体上产生了大量带有文本描述的短视频内容。针对大量的短视频数据进行分析,有助于获得用户对于人物、事件、产品的观点看法。因此,对标注短视频的情感极性进行分析已经成为一个重要的研究热点。然而,由于短视频数据的文本描述和视频内容是相互独立的,在进行情感分析研究时,难以有效融合视觉图像信息和文本语义信息。针对上述问题,本文提出以下工作:(1)针对短视频视觉模态情感分析中空间特征和时间特征无法有效融合的问题,提出一种基于多头自注意力和时空特征融合的视频情感识别方法。首先对样本视频做等间隔分割,并使用CNN和C3D网络分别提取视频的时空特征序列;然后分别采用多头自注意力神经网络提取出高层的视觉情感特征后通过拼接做时空特征融合;最后使用Softmax分类器判决视频内容的情感极性类别。实验结果表明,相比于传统的视觉情感识别方法,本方法能够有效融合视觉时空特征,具有更高的情感识别精度。(2)针对短视频文本模态情感分析中词向量维度过高以及情感极性信息不够丰富的问题,提出一种情感极性增强的文本标注情感识别方法。首先使用Word2vec工具将数据集的文本标注转换为对应词向量;再基于Senti Word Net增强词向量的情感极性后输入多头自注意力神经网络提取高层的情感语义信息;最后使用Softmax分类器判决文本标注的情感极性类别。实验结果表明,与传统的文本情感识别方法比较,本方法能够降低词向量维度,丰富文本标注的情感极性信息,更加准确地识别情感极性类别。(3)针对短视频情感分析中视觉模态和文本模态难以有效融合的问题,提出一种基于决策层加权融合的短视频情感识别方法。首先依据视觉和文本模态的情感识别结果得到情感矩阵,并联合各模态设计融合权重引入加权系数矩阵;然后,将两个矩阵相乘得到情感分类概率矩阵,根据分类概率判决情感极性类别;最后,以情感识别准确率为目标函数计算加权系数的最优解。实验结果表明,相比于单模态情感识别方法,本方法能够充分利用模态间的相关情感信息,进一步提升情感识别性能。
其他文献
“提问策略单元”是围绕“提问”编排的阅读策略单元,目的在于指导学生进行自主阅读。这一单元旨在教给学生提问方法,提高学生的问题意识,引导学生深度学习。进行提问策略的教学研究,有助于学生思维的发展。以统编教材四年级上册第二单元为例,通过“小组合作,自主参与”“问题清单,构建支架”“教师引领,适当讲授”和“依靠支架,自主探究”四个策略,可更好地落实提问策略单元的教学,培养学生积极探索的精神,养成积极思考
<正>南昌市红谷滩区深入推进数字经济做优做强“一号发展工程”,集中一切优势资源全力打造江西数字经济创新引领核心区。集聚产业龙头之势。做强核心产业,集聚华为等6家世界500强企业、高通影创等14家全国VR50强企业,数字经济企业突破5000家;中国电信元宇宙应用产业园、云上江西数字经济产业园等一批引爆性项目正在加快落地。做大科研平台,落户17个全国领先的VR产业关键技术研发平台,江西省VR制造业创新
期刊
为快速检测家畜衣原体,选取家畜衣原体ompA基因的高度保守区域,设计了针对家畜衣原体的引物和探针,优化反应条件,建立家畜衣原体荧光定量PCR检测方法。结果显示:该方法的最低检测限为1.68×101 copies/μL,在1.68×102~1.68×106copies/μL范围内具有良好的线性关系;该方法可特异性检测家畜衣原体,与肺炎衣原体、沙眼衣原体、鹦鹉热衣原体、流产衣原体4种4个菌株无交叉反应
<正>吸入糖皮质激素(简称激素)和支气管扩张剂在支气管哮喘(简称哮喘)和慢性阻塞性肺疾病 (COPD)防治中占有重要地位,要使药物能够迅即到达治疗靶位,定量气雾剂(MDI)的正确使用就成为关键。为此,我们调查了860例住院患者MDI的使用情况,分析影响MDI使用正确率的相关因素及主要的错误形式,对不能正确使用MDI的患者进行指导,使患者尽快掌握MDI的正确使用。
会议
目的 探讨新型冠状病毒奥密克戎变异株感染患者不同分型的临床特征差异及胸部CT影像表现。方法 回顾性分析深圳市第三人民医院2022年1-2月收治的68例新型冠状病毒奥密克戎变异株感染患者临床资料,根据患者有无肺炎改变,将其分为普通型组和无症状/轻型组,比较两组间临床表现差异,分析普通型组胸部CT影像特点。结果 68例新型冠状病毒奥密克戎变异株感染者中,临床主要表现为咳嗽49例、咽部不适27例、发热2
在汽车工业高速发展的今天,自动驾驶技术已成为实现智慧交通必不可少的一环,真实无偏、高精度的环境地图是自动驾驶汽车在定位导航、路径规划时必不可少的前提条件。回环检测功能虽说可以在一定程度上减少建图时的累积误差,但也只是实现了回环区域内的局部优化,无法对非回环路径内的轨迹进行改善,进而导致现阶段激光同步定位与地图构建(simultaneous localization and mapping,SLAM
车载激光雷达扫描系统主要通过GNSS定位导航技术可以在室外开阔地得到重高精度绝对定位,在观测质量良好的环境下,可以通过成熟的GNSS/INS组合导航算法实现厘米级的动态导航定位。移动测图技术由于GNSS高精度定位技术而得以快速发展,从而实现高精度地图绘制。然而,在森林、高楼较多的城市、地下停车库、长隧道等区域,GNSS信号受到遮挡和干扰后造成数据测量不准,信号强度变弱,很难通过GNSS/GNSS组
超现实主义强调人的梦境和潜意识作用,因为其理念特征,导致人们对它的应用多数是以绘画或者多媒体作品的形式呈现,极少运用在真实的生活场景,特别是在当下较为强调功能主义的室内设计中。另外,在国内各地的室内设计作品中,出现了设计套路和形式主义现象,断章取义抽取其他作品的风格元素,缺少设计内涵,这难以造就具有体验价值的空间。因此现通过对超现实主义的深刻理解,以Palais Bulles别墅为案例,尝试探讨超
讨论了数字经济测度的重要性及其难点。介绍了经济合作与发展组织(OECD)和华为公司从不同的视角完成的关于数字经济测度的研究。以数字经济测度必须反映数字经济所带来的经济社会转型为目标,从四个方面探讨了数字经济催生的重大经济社会转型,即:产业结构、经济体系、组织体系、社会结构。讨论了近年来国际上数字经济测度的发展,包括国际货币基金(IMF)和联合国贸易与发展会议(UNCTAD)关于在国民经济核算体系中