面向社交媒体文本的多模态命名实体识别

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:LQL12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,社交媒体上积累了大量的用户生成内容,这些用户生成内容是许多下游应用的重要信息来源。命名实体识别是从社交媒体数据中挖掘有用信息的关键技术,然而由于社交媒体上的文本通常较短且包含较多噪音,导致传统的命名实体识别模型在社交媒体领域表现不佳。近年来有研究者提出了多模态命名实体识别模型,旨在利用和社交媒体文本相关的图像信息辅助识别命名实体。虽然现有的多模态命名实体识别模型取得了不错的性能表现,但是这些模型仍然存在两个不足:首先,大多数现有模型忽略了图像中视觉对象和命名实体之间的交互关系,而这种细粒度的交互关系有助于模型更好地识别不同类型的实体。其次,这些模型忽略了不同模态之间特征分布不一致带来的语义差异问题,简单地将视觉特征和文本特征拼接可能会导致模型性能下降。针对这两个不足,本文提出了一种基于视觉对象引导的多模态命名实体识别模型。该模型首先利用目标检测模型提取图像中的视觉对象,然后利用密集协同注意力捕捉图像中多个视觉对象和文本中不同类型的实体之间的交互关系。此外,该模型采用视觉对象标签的词嵌入作为视觉对象特征,在保留视觉对象语义的同时,避免了不同模态之间特征分布不一致带来的语义差异问题。基于视觉对象引导的多模态命名实体识别模型仍然存在两个不足:首先,该模型为非实体词集成了无关的视觉对象信息,这可能会误导模型将非实体词识别为实体。其次,该模型忽略了视觉对象之间的语义关系,而视觉对象之间的语义关系是理解图像语义的重要依据。为了解决这两个不足,本文进一步提出了一种基于两阶段和对象关系的多模态命名实体识别模型。该模型将多模态命名实体识别任务分为基于文本的实体边界检测和基于多模态的实体类别识别两个阶段,避免了为非实体词引入无关的视觉特征。此外,该模型还采用关系图卷积网络捕捉视觉对象之间的语义关系,以利用多个视觉对象共同表达的图像语义辅助识别命名实体。本文在两个多模态命名实体识别数据集上进行了大量的实验,实验结果表明,本文模型在F1值上优于所有的基线模型,验证了模型的有效性。
其他文献
代码搜索是开发者利用自然语言查询语句搜索符合其描述的代码片段的行为,是现代软件开发过程中最频繁的活动之一,开发者通过搜索寻找可复用的高质量代码。因此,提高代码搜索的准确度可以有效提高软件的质量和开发的效率。开发者需要根据语句及其上下文理解代码,这使得开发者倾向于搜索实现一定功能的函数或代码片段。因此,代码搜索系统使用的函数表示应该表达函数的功能。据此,本文分析了现有方法存在的两个问题:函数功能表达
学位
肺纤维化与卵巢癌作为致命性的两种疾病,均需要特定的药物对其进行治疗。在传统治疗的过程中,药物的非特异性靶向所带来的全身性的毒副作用给患者的健康和临床治疗都带来了很大的困扰。因此,近年来,实现药物的精准靶向递送就成为了研究人员们关注的领域。其中,纳米复合材料的功能基元组成多样,在药物的靶向递送上存在着极大的应用潜能,引发了研究者们的广泛关注。四氧化三铁纳米粒子具有超顺磁性,可以在外部磁场的作用下聚集
学位
长期以来,颈椎病在中老年人群中具有较高的发病率。根据大量临床研究结果,人体的手部灵活性和颈部神经之间存在紧密联系。骨科医生在门诊过程中对患者进行颈椎病检查时,通常会让患者进行一次十秒手部抓握试验,并以此试验的结果,即患者在十秒内的抓握次数作为对病情的初步判断。到目前为止,十秒手部抓握试验的计数仍然由医生进行肉眼计数。当患者的手部抓握速度太快时,肉眼计数容易出现错漏,从而可能导致发生误诊的情况,影响
学位
在“绿水青山就是金山银山”的战略谋划下,对水环境漂浮物进行监测以防治水污染已是燃眉之急。面向复杂水场景图像的语义分割方法是水环境漂浮物监测的重要支撑技术,因为语义分割可以细致地描绘漂浮物并提供精确的物体信息。复杂水场景中漂浮物种类繁多,语义分割方法面临数据层面和算法层面的挑战。在数据层面,现有水场景语义分割数据集多半仅顾及单一类别的漂浮物,导致基于现有数据集训练的语义分割方法面向多种漂浮物时既容易
学位
k-mer频次计数任务是生物信息学分析工作流的基础环节,可为表征生物序列上下文提供可用材料,应用场景包括序列组装、序列比对、序列修正、突变位点检测、公共祖先发现、模体发现、基因关联分析等等。随着测序数据规模不断扩大,k-mer频次计数算法所需的存储和时间开销已成为不可回避的问题。本文分别研究共享内存环境和天河超算环境下的大规模k-mer频次计数问题,主要内容如下:(1)针对共享内存计算环境,提出一
学位
跨语言词对齐作为跨语言领域的一项基础研究,专注于两个语种之间单词级别的对齐,是其他跨语言任务的上游任务和重要支撑。随着深度学习技术在跨语言领域的普遍应用,研究者们近年来在跨语言词对齐的研究上取得了巨大的进步,但现有的方法依然存在着以下不足:1)现有的跨语言词对齐方法大都依赖于语种词向量空间之间的同构性,针对低同构性的语种对任务,这些方法不能取得令人满意的效果。2)基于对抗式的无监督跨语言词对齐方法
学位
过去的几十年中,工业化工快速发展,伴随着的环境问题也越发严峻。海洋湖泊大面积遭到化学品污染,为了改变传统化工生产中的先污染再治理的生产方式,“绿色化学”和“可持续发展化学”的概念被逐渐引入科学研究和生产领域,因此寻找符合可持续发展、符合绿色化学要求的有机反应途径迫在眉睫。水不仅是自然界生命体系中化学反应的介质,还是理想的绿色溶剂。以水作为溶剂的有机反应,具有无毒、廉价、不易燃烧等优点。由于水具有诸
学位
生物序列的模体识别是在一组核苷酸或者蛋白质序列中寻找高度相似的、重复出现的保守短序列子串。模体识别对揭露基因表达调控、研究病变机制、发现分子的结构和功能都具有重要的生物学意义。它是一个NP难问题,通常分为枚举和概率两种解决方法。然而枚举方法较为耗时,概率方法在运行速度上更具有优势却容易陷入局部最优,因此本文针对基于概率的模体识别算法存在的问题进行研究,主要的工作内容如下:(1)提出了融合排序轮盘赌
学位
在当前时代的快速发展下,材料化学已经成为国家科技发展进步中不可或缺的一部分。而聚合物材料作为材料化学的重要组成部分,凭借着自身的优势,在材料化学的开发应用中发挥着至关重要的作用。在性能上,不同于小分子材料所具有的单一性,聚合物材料集结了众多单体之间的特点,在宏观上表现出更加优越的性能。基于这些研究,开发性能多样的聚合物材料成为研究者们关注的焦点。超分子化学作为一门新兴的学科,为构筑各种聚合物材料提
学位
命名实体识别是指从非结构化的文本中识别出具有特定意义的实体,可以用于挖掘非结构化文本中的重要信息。现有的研究提出了很多的识别命名实体的方法,推动了命名实体识别任务的发展。然而很多命名实体识别的研究忽略了文本中广泛存在的嵌套命名实体,使得一些重要实体未能被识别出来。为了识别文本中出现的嵌套命名实体,有研究者提出了基于区域的嵌套命名实体识别模型,这类模型会定位实体边界以获取候选区域并分类候选区域的实体
学位