基于深度学习的多模态细粒度情感分析研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:shuaiqi_09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为自然语言处理领域中一个经典方向,细粒度情感分析主要研究如何准确判断观点实体的情感倾向性问题,近年来已经获得了广泛而深入的探索。然而在现实生活中,人们在社交媒体上发布的内容已经从单一的纯文本模态信息转变为图文并茂的多模态信息。以往的细粒度情感分析模型由于只考虑文本内容,无法对多模态信息进行建模,从而存在不能准确判断观点实体情感倾向的问题。多模态细粒度情感分析是近期提出的一个新的研究方向。该方向旨在利用文本、图片等多模态信息判断观点实体的情感倾向,以解决以往的细粒度情感分析模型无法建模多模态信息的问题。本文以多模态细粒度情感分析作为主要研究内容,从图片信息增强和多模态交互两个角度出发,开展了以下三个方面的工作:(1)设计了基于图卷积神经网络和多模态LSTM的多模态细粒度情感分类算法。为构建图片整体信息的表达,该算法利用图卷积神经网络(GCN)针对图片中物体间的交互进行建模。另外,还设计了一种基于观点实体指导的多模态LSTM对图片信息进行过滤,在减小图片噪声的同时增强了观点实体与图片之间的联系。实验结果表明,该算法能够有效建模图片中物体间的联系,过滤图片中的无关噪声,并取得了优于其他模型的性能。(2)提出了基于多模态交互Transformer和图片语义的多模态细粒度情感分类算法。该算法通过提取图片中的物体语义信息来增强图片的语义表示,并设计了辅助任务来减小文本和图片之间的语义鸿沟。另外,该算法还提出了基于层次化多模态交互Transformer结构的神经网络模型,以建模文本、图片以及观点实体三者之间的信息交互。实验结果表明,该算法在准确率和宏平均上取得了目前最好的结果。(3)从实际应用中存在的问题出发,提出了一种基于联合训练的端到端多模态细粒度情感分析算法。该算法从联合训练的角度进行设计,利用图片信息辅助文本同时实现观点实体的抽取以及情感分类两个任务。并且利用形容词-名词对来构建图片的多视角表示,以增强图片中的情感语义信息。实验表明,该算法能够有效地同时抽取观点实体以及进行情感分类,并在微平均这一指标上优于其它基准模型。
其他文献
射频前端的放大电路和分频电路逐渐向高速、高集成、低功耗、低成本等方向发展,针对当前的需求,本论文主要工作有:1.设计了一款基于0.18μm SiGe BiCMOS工艺的X波段低噪声放大器:基于射频二端口网络的噪声原理,对最小噪声系数阻抗进行提取;设计片上大Q值电感,使放大器具有噪声系数低和相对带宽大等优点;最终设计版图并加工测试,该芯片的实测结果满足设计指标。2.设计了一款双频滤波功率放大器:研究
学位
哈希技术由于具有较快的计算速度和较小的存储空间,而在大规模数据检索中被大量应用。多视图信息由于可以提供更全面的信息,可以融合不同视图信息的多视图哈希在检索中具有更好的效果。在实际应用中,随着数据量越来越大,更多的数据都被分散存储在不同的服务器中。传统的多视图哈希方法,在处理分布式数据时,需要先将这些数据集中到一个服务器上,具有较大的运算和通信开销。因此,本文针对分布式多视图数据,提出了监督与无监督
精密加工的复杂锻件现已成为众多设备中不可替代的核心部件,承担着核心支承、特种结构、重载荷等重要作用。目前,此类工件大多采用人工探伤的方式进行检测,其存在较多的检测盲区,效率低下,且检测结果的准确度过于受人为因素的影响。为了保证锻件的质量和可靠性,研究基于机器人的超声波自动检测系统具有重要的实用价值。首先,制定了总体设计方案。根据复杂锻件结构特点及检测要求,设计了一套复杂锻件超声波自动检测系统,以期
高光谱遥感图像具有光谱分辨率高的特点,但受成像传感器的限制,高光谱图像空间分辨率较低,极大影响了高光谱图像的应用,因此提高高光谱图像的空间分辨率是研究热点问题。高光谱遥感图像超分辨技术通过软件方法,利用低分辨率高光谱图像重建高分辨率图像。传统的矩阵分解方法依赖高分辨率RGB图像提供额外的空间信息,否则重建精度不够。深度学习方法直接从数据学习特征,能够描述数据的深层特征,通过这些内在信息能够达到较高
学位
学位
行星减速器作为飞行器舵机系统重要组成部分之一,与舵机系统的传动精度和工作效率密切相关,影响飞行器飞行精准程度。本文基于舵机系统传动装置的技术要求,设计一款新型行星减速器并进行动力学特性研究。根据余度策略技术以及行星齿轮设计理论对行星减速器进行结构设计。包括齿轮、行星架、箱体的设计和轴承的选型,并绘制二维工程图纸、装配三维模型;利用理论计算法和有限元计算法校核行星减速器危险齿轮的强度,分析行星架受力
学位