【摘 要】
:
随着抖音、快手等新网络媒体的快速发展,针对某一事件,越来越多的网民通过上传视频的方式来抒发观点和传递情感。视频提供内容的方式可以概括为三种多模态数据:口头语言形式的文本,通过感知手势和面部表情的视觉,以及通过语调和韵律的声音。与单模态相比,多模态数据传递的信息具有多维度、多类别、深层次等特点。因此,通过分析多模态数据可以更好地帮助我们获取正确的情感理解。但是,关于多模态情感分析中数据融合的问题,先
论文部分内容阅读
随着抖音、快手等新网络媒体的快速发展,针对某一事件,越来越多的网民通过上传视频的方式来抒发观点和传递情感。视频提供内容的方式可以概括为三种多模态数据:口头语言形式的文本,通过感知手势和面部表情的视觉,以及通过语调和韵律的声音。与单模态相比,多模态数据传递的信息具有多维度、多类别、深层次等特点。因此,通过分析多模态数据可以更好地帮助我们获取正确的情感理解。但是,关于多模态情感分析中数据融合的问题,先前的研究过多的采用在时间维度上将特征向量直接拼接的方法,即为每个模态数据默认赋予相同的权重。该方法不注重多模态数据中每个模态在特定时间传递信息的强弱,以及无法获取多个模态在时间维度上的关联嵌入表示。而且,进一步的研究发现文本的词义会随着视觉和声音模态动态变化,会增强或者削弱文本词义本身的情感属性。为此,我们提出了两个多模态数据融合模型用来解决多模态情感分析任务中遇到的问题。针对以上特征向量拼接无法获取多个模态在时间维度上的关联嵌入表示的问题,提出模型一:一种基于自注意力机制和神经网络的多模态序列特征提取网络。该网络使用自注意力机制来增强单模态内的上下文信息和多个模态之间跨时间的上下文信息,以获得不同模态强度的嵌入表示。该网络的核心是在处理多模态数据时,对多模态序列数据进行序列重组和模态增强,直接提取信息增强后的多模态序列的融合特征表示。针对特征向量拼接无法解决文本词义受到视觉和声音模态会动态变换的问题,提出模型二:一种基于Transformer的多模态编码-解码网络。该网络模型通过BERT网络和Transformer编码器对多模态数据进行编码以解决模态内的长期依赖关系。并且,我们在进行多模态数据融合时,以文本数据作为主导信息、声音和面部视觉数据作为辅助信息作为核心切入点,重构了Transformer解码器来迭代的动态更新多模态数据的权重。该网络充分考虑了模态之间的长期依赖关系以及声音和面部视觉数据对文本数据产生的偏移效应。为了评估模型的合理性,本文选取了两个通用的多模态情感分析数据集进行实验,并与最新的基准模型进行了比较。由最终的数据可知,本文提出的模型明显优于基准模型,且已成功解决了上面提到的两个问题。
其他文献
限高防护架作为桥涵、立交等交通设施的保险杠,可以起到警示标识与保护桥涵、立交的目的。目前对于限高架的维护检测方法主要依靠工作人员人为定期巡检,费时费力;同时部分地区采用了激光、红外的限高监测方案,此方案并未大范围推广及应用,主要原因在于:架设调试困难,受地形因素影响较大;干扰信号繁多,系统误报率高;对超高车辆的拦截缺乏强制性,实际对桥涵的保护作用有限。本文采用“云-边-端”架构,研发了基于物联网的
环境污染和能源缺乏的问题日益严重,为了建设生态文明和实现可持续发展,大力发展新能源汽车是目前必需的途径。新能源汽车在使用中仍然存在一系列的问题,锂离子电池荷电状态估计(State of Charge,SOC)是我国在纯电动汽车应用中面临的技术难点。本文以磷酸铁锂电池为研究对象,对电池的建模方法及SOC的估计方法展开研究,重点涉及:(1)对动力电池SOC估计进行前期准备工作。了解电池的工作原理、种类
两相混合流动现象广泛地存在于能源、化工、石油开采等领域中,其为典型的非线性复杂系统。明确两相流系统的动力学演化机制一直是复杂流体研究领域的热点及需求。由于目前仍没有精确的动力学方程来描述两相混合流动机理,因此从观测数据反演两相流动力学演化规律的方法得到广泛的应用。然而,两相流的观测数据易受到噪声的干扰,在一定程度上影响了两相流复杂系统动力学规律的揭示。尤其是当两相流的流动表现为宏观平稳随机状态时,
随着手机、汽车电子、智能家电等电子设备的广泛应用与普及,使得PCB电子元器件的检测具有广泛的需求和重要应用价值。然而传统检测方式耗时长、精度低、泛化能力差、步骤繁琐,对于目标小、特征相似、种类繁多的PCB电子元器件来说,难以满足实际应用的广泛需求。近些年,基于深度学习的目标检测技术由于高效率、高精度、适应范围广等优势而被广泛应用于工业生产领域。因此,本课题针对PCB电子元器件特征,将深度学习技术引
由于全球变暖的现象愈发加剧和化石燃料能源的日渐枯竭,世界各国对清洁能源和可再生能源发电领域的关注度越来越高,各国政府呼吁使用可再生能源来应对未来几年的传统化石能源短缺问题。光伏发电是最具发展前景的可再生能源技术,光伏发电系统具有维护成本低、运行自由、无需复杂部件、对环境友好、可持续性发展等优点。光照强度和环境温度仍然是光伏发电的重要影响因素,所以实现不均匀光照下准确的最大功率点跟踪至关重要。传统的
近些年来,畜牧业经济发展和草场生态系统稳定面临的主要问题是因为长期的过度放牧使草场资源大幅退化。目前针对草场放牧的监测与研究工作,大多数只是围绕对放牧牧群的实时位置进行显示、对以往放牧情况记录查询等简单位置服务展开,不能满足现代畜牧业的发展。数字孪生技术作为一种新的技术,它能够实现数据之间的交互融合。本文以数字孪生技术为基础,创新性的与草场放牧相结合,研究设计了以数字孪生技术为核心的草场放牧系统,
农业作为我国的根基行业,拥有悠久的发展历史,但是传统农业的生产模式不仅会浪费大量的人力物力,还会限制农田产量的进一步提高。在我国经济结构转型的关键时期,农业生产必须抛弃传统生产方式,做到农业生产精准化、信息化、现代化。在此背景下,本文基于LoRa无线通信技术,提出了一套农田信息采集与监测系统,系统主要研究内容及结果如下:(1)系统整体方案的设计。从获取农田信息的终端采集节点到兼具信息收集与协议转换
NPC型三电平逆变器作为目前应用比较广泛的逆变器类型之一,中点电压不平衡和共模电压幅值高的问题关系到了逆变器的性能及实际应用。中点电压不平衡是该类型逆变器固有的问题,其直接影响到了逆变器的输出电压波形的质量以及器件的寿命等;共模电压虽然不会对逆变器的性能产生明显的影响,但是高的共模电压会对周围的操作人员以及设备造成危害还会降低逆变器的稳定性等。这两个问题如果不加以控制,会给逆变器的运行产生很大的影