基于多模态知识图谱实体对齐技术研究与实现

来源 :西北民族大学 | 被引量 : 0次 | 上传用户:l525721
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的不断发展,知识图谱已经成为人工智能领域中不可或缺的组成部分,因为它具有强大的知识表示和推理能力,备受学术界和产业界的关注。知识图谱在语义搜索、问答、知识管理等方面得到了广泛应用,但是多模态知识图谱的研究更注重于不同模态下实体及其多模态语义关系的构建。然而,现有的多模态知识图谱只能从有限的数据源中获取信息,其领域覆盖率较低。为了提高多模态知识图谱的覆盖率,一种可行的方法是整合其他多模态知识图谱的有用知识。在这个过程中,识别不同知识图谱中的等效实体是非常关键的,因为实体是连接这些不同知识图谱的纽带。这个过程也被称为多模态实体对齐。在实体对齐任务中,由于不同模态的异构性,很多基于知识表示学习的实体对齐方法仅使用单一模态的数据(如文本),忽略了其他模态(如图像)中的实体特征信息,导致其他模态中的数据未被有效利用。为了充分利用不同模态中的信息,本文将多模态实体对齐作为主要研究内容,以弥补单一模态数据的不足。具体工作包括:(1)在实体对齐任务中融合了多模态信息特征,增加了知识图谱图像实体的信息,弥补了单一模态的局限性,增加了模态之间的互补性。(2)在特征提取方面,不同的模态采用不同的模型进行特征提取。对于知识图谱文本模态使用图卷积神经网络(GCN)来提取文本实体特征,图像模态使用Image Net预训练的残差网络(Res Net-50)提取图像实体特征。(3)在特征融合方面,通过双曲图卷积神经网络(HGCN)进行特征融合,将图像特征的嵌入映射到双曲空间中,使用双曲多模态实体对齐(HMEA)在双曲空间中使用聚合嵌入来预测实体对齐结果。在多模态知识图谱FB15K、DB15K、YAGO15K三个数据集上进行实验,实验结果证明多模态比单一模态的实体对齐效果在80%种子实体对的情况下,HGCN-Align在Hits@1和Hits@10提升了近15%,添加了图像实体的特征可以大大提升实体对齐的准确率和效率,为多模态链路预测或跨模态搜索等领域提供了新的思路。
其他文献
随着人工智能的蓬勃发展,生物特征识别技术如面部、虹膜、指纹和语音等在我们日常生活中也得到了广泛的应用。其中特别是人脸识别技术和说话人识别技术,它们有着高用户接受度且取样成本较低的优势,在各个移动设备上的使用也变得很常见。但是在实际应用中,视听识别很容易受到现实世界里各种复杂场景的影响,如综艺、采访、唱歌、电影和电视剧等。它们包括有说话人识别中的多人混合说话、远近场导致的声音不清晰和环境噪声等问题,
学位
机器阅读理解作为智能问答技术的全新方法,让机器解析用户输入的问题,理解用户意图,通过机器阅读理解模型从文章中快速、准确地检索并查找到细粒度的答案片段。它能为广大用户提供一种高效的答案检索方式,被广泛应用到百度搜索、自动问答机器人、智能客服机器人等场景,具有良好的发展前景和应用价值。随着机器阅读理解中/英文数据集种类增加、复杂度的扩大化以及硬件图形处理器算力的大幅提升,机器阅读理解系统逐渐由传统浅层
学位
随着移动互联网的高速发展,人们也逐步由信息获取困难转变为信息过载,为了方便人们高效的获取有用信息,推荐算法应运而生。视频推荐系统作为视频平台的标准配置已广泛应用,但仍存在以下问题:视频特征未能全面的提取,例如评论,标题,简介;弹幕文本信息未得到充分利用并融入视频推荐中;视频内容与用户的兴趣喜好关联计算不足等影响推荐效果。本文针对视频推荐中存在的问题提出了融合多特征的弹幕视频推荐算法,主要研究工作如
学位
步入数字化时代,数字化的发展催生了数字经济,全方位助力社会的发展。数字经济成为经济增长的新引擎,也成为我国创新发展的新势能。“十四五”规划中提出,要促进数字技术与实体经济深度融合、推动数字经济和实体经济深度融合。在此时代背景下,本文聚焦企业数字化发展,探究制造业企业数字化水平、创新绩效与全要素生产率之间的关系具有重要的理论和实践意义。基于此,本文选取2012年-2020年A股制造业企业作为研究对象
学位
单光子发射计算机断层扫描(Single Photon Emission Computed Tomography,SPECT)借助单光子核素标记物实现全身骨骼形态和代谢的显像,通过发现病变部位的异常放射性浓聚或稀疏缺损实现疾病的无创检测,目前已成为诊断恶性肿瘤骨转移的首选方法。受限于成像技术和成像设备,SPECT骨扫描图像往往具有分辨率低,病灶区域边界模糊等缺点,使得医师诊断工作耗时、效率低并且伴随
学位
社交媒体拥有海量用户,是一种具备便捷、活跃、实时以及交互特点的社交应用。微博是国内社交媒体中最典型代表,已成为众多热点事件传播的集散地,成为网民对社会现象表达意见和分享情感的场所。本文对特定主题事件的相关信息进行采集,了解网民对热点事件的看法及其情感倾向,分析事件演化过程,使政府及时掌握时态和舆论发展,帮助引导舆论向着积极方向发展。本文研究工作包括以下内容:1)微博平台数据采集及预处理。本文以新浪
学位
中美贸易摩擦升级、新冠肺炎疫情爆发、俄乌冲突……以美霸权主义为首的西方同盟逆经济全球化的举措加剧了世界经济整体的不确定性。改革开放的四十多年来,我国经济发展日新月异,全球经济排名逐年攀升,但部分实质性技术专利仍处于被动位置,因此近年来我国始终以创新是引领发展的第一动力为指引,十分注重全行业科技创新发展;作为创新活动的重要经济主体,响应国家号召、提高创新水平的社会责任感是每一个企业应当牢记并践行的。
学位
2016年底财政部发布新审计准则第1504号,要求在上市公司的审计报告增加关键审计事项,首先在A+H股公司试点,2018年起在全部上市公司施行。关键审计事项改进了传统审计报告,研究热度逐渐增加,目前研究主要聚焦在审计师责任和投资者反应方面,研究范围有待扩大。一方面我国资本市场亟需改善关联交易治理,另一方面关键审计事项披露改变了过去审计仅通过审计意见发挥治理作用的现状,可以通过减少信息不对称、进行风
学位
在人们日常生活和交流之中,输入法是一款不可或缺的重要工具。对于藏语来说,虽然当前已经有不少输入法,但这些输入法存在的问题是只能使用传统的部件方式输入藏文,没有智能的输入引擎,输入速度慢,联想功能差等。鉴于此,本文研究、设计和开发了一种基于拉丁转写编码输入方案,提供键盘和手写两种输入方式,支持Android和Windows环境的藏文输入系统。论文的主要工作包括:(1)藏文语料库的构建和藏文拉丁输入引
学位
党的二十大报告指出,要坚持创新是第一动力的理念。我国经济进入新常态以来,创新水平虽在逐步提高,但目前仍未达到与发达国家比肩的水平,许多关键核心技术仍受制于人,继续提高创新能力仍是经济发展的重中之重。而在我国经济的发展过程中,实体企业面临市场需求减弱、生产成本上升等问题,整体盈利性变差,企业发展遇到困难,相比之下,金融业利润却一直居高不下。在资本逐利的驱使下,实体企业不断增加金融资产投资,甚至偏离主
学位