【摘 要】
:
在信息爆炸时代,为了能够获取相关事物准确全面的知识,需要借助知识图谱技术进行知识融合。知识融合面向不同知识图谱解决信息交叉与缺失问题,而实体对齐技术作为其首要且关键的一步,是将知识图谱间存在的等价实体建立关联,从而为实体信息共享奠定基础。目前实体对齐相关研究大多只关注实体在知识图谱上的结构和关系知识,对实体的属性和其他多模态知识关注甚少。一方面忽略了知识图谱中实体相关的拓扑结构、属性、关系之间的语
论文部分内容阅读
在信息爆炸时代,为了能够获取相关事物准确全面的知识,需要借助知识图谱技术进行知识融合。知识融合面向不同知识图谱解决信息交叉与缺失问题,而实体对齐技术作为其首要且关键的一步,是将知识图谱间存在的等价实体建立关联,从而为实体信息共享奠定基础。目前实体对齐相关研究大多只关注实体在知识图谱上的结构和关系知识,对实体的属性和其他多模态知识关注甚少。一方面忽略了知识图谱中实体相关的拓扑结构、属性、关系之间的语义交互作用,另一方面实体的文本模态归纳学习能力较差,而且存在双向对齐优化问题。为此,本文开展基于多模态信息的实体对齐方法研究。本课题的主要研究内容如下:(1)将实体相关的多模态知识划分为三类:图像模态、文本模态、知识图谱信息,进一步将实体相关的知识图谱信息划分为拓扑结构、属性和关系三类。对于拓扑结构使用图注意力网络进行嵌入;对于属性和关系知识基于词袋模型思想进行初始化,并通过全连接层和高速网络层进行嵌入;对于实体的图像模态知识,使用深度残差网络作为初始特征提取器,再经过向量空间转换得到实体的图像模态语义。对于上述拓扑结构、属性、关系、图像四类知识的模型训练,引入权重矩阵调节各自贡献比。(2)针对知识图谱中拓扑结构、属性、关系之间的语义交互作用被忽略的问题,提出基于双重多头注意力的属性结构交互学习方法,使用图注意力网络思想构建属性注意力层和领域注意力层,用于提取实体相关的属性结构交互语义;同时,提出基于关系语义建模的关系结构交互学习方法,包含全局结构嵌入层和局部语义优化层,使用TransE算法建模关系语义,并通过联合训练方式对实体的拓扑结构和关系进行交互学习。(3)针对实体文本模态归纳学习能力差的问题,提出基于Multilingual BERT的分级语义融合模型,兼顾Multilingual BERT的CLS级别输出和Token序列级别输出,对于后者进一步学习双向时序特征和不同位置词嵌入语义。将实体对齐作为Multilingual BERT的预训练目标,对模型进行微调,提升对本文实验数据集的语料学习能力。(4)针对双向对齐优化问题,对实体的多模态语义进行联合嵌入,引入双向对齐调节因子,控制正反两个对齐方向之间实体匹配的相互影响,得到最终的实体对齐结果。使用公共数据集DBP15k进行实验验证,与当前主流实体对齐方法对比,并分模块开展实体对齐实验和各模态消融实验,验证本文基于多模态信息的实体对齐方法具备有效性。
其他文献
随着智能信息服务应用不断深入日常生活,网络数据日益膨胀,知识图谱因其强大的语义处理能力与开放互联能力成为当下研究的焦点。推荐系统可以帮助人们获取所需要的信息或商品,改善信息超载问题。推荐系统的核心技术是对用户历史行为数据和商品信息进行建模,推理出用户的偏好,并将其可能感兴趣的商品推荐给用户。在推荐场景中,商品可能会包含丰富的语义信息,知识图谱加强了商品之间的联系,为个性化推荐提供了丰富的参考价值。
准确预测未来轨迹是自动驾驶车辆、移动机器人等智能交通系统在复杂场景下与环境进行安全交互的重要能力。近年来,由于服务机器人和自动驾驶汽车等新兴人工智能应用的巨大需求,轨迹预测已成为计算机视觉领域中的一项重要任务。然而准确预测未来轨迹非常困难,因为人类的决策行为往往受内在运动意图、个人偏好和场景信息等因素影响,会表现出高度的不确定性。从其运动轨迹角度分析,未来有多种可行路径可被选择。学习轨迹数据分布、
知识图谱(Knowledge Graph,KG)是高度结构化的图数据库,借助资源描述框架(Resource Description Framework,RDF)将现实中的知识事实存储为三元组(Triple)形式,构成了大规模的语义网络。虽然KG在人工智能领域得到广泛应用,然而,KG大都由人工或通过半自动的方式构建,通常存在严重的数据缺失和数据稀疏等问题。现有的知识图谱补全工作主要着眼于单一三元组及
水下光学成像作为水下智能机器人环境感知的重要途径之一,所获取的图像质量直接影响了水下视觉系统的信息感知与辨识能力。然而,水下图像受水中介质的散射与吸收作用的影响,通常存在降质问题,呈现出蓝绿色偏严重、对比度低等特点,为后续水下目标检测等任务带来了极大困难。在解决上述问题时,传统的模型无关的增强方法未能充分考虑水下成像过程中的复杂影响因素,在处理图像时存在局限性;基于模型的水下图像增强方法由于现有模
近年来,深度学习在人工智能领域取得了显著的成果。然而深度学习模型的训练过程可能会导致个人隐私的泄露。在给定模型和目标个体的一些背景信息的情况下,攻击者可以推断出目标个体的敏感特征。差分隐私作为一种可以数学证明的严格隐私定义,已经证明可以运用到深度学习模型训练中,但由于其添加随机噪声的保护方式将较大地影响训练后模型的实用性。因此,如何在保证隐私的情况下,不过多地影响模型的实用性,即寻求更好的模型实用
清开灵治疗高热285例047500山西省潞成县中医院杨怀玉笔者自1990年3月以来,用清开灵治疗除癌性发热以外的各种原因所致的高热285例,获满意疗效,现报告如下:285例中,男190例,女95例;年龄最小1岁半,最大69岁;病程最短2天,最长45天...
互联网中海量服务为用户快速地找到符合需求的服务带来了挑战,用户如何从海量服务中选择满足需求的服务成为了一大难题。为解决此问题,服务推荐被提出,并且成为了非常热门的研究领域。目前服务推荐方法存在服务侧或用户侧辅助信息利用不充分、服务或用户特征表示不够准确,以及数据稀疏和冷启动导致的推荐准确率不高的问题。数据与信息是服务推荐的基础和依据,因此本文利用服务侧和用户侧的辅助信息,依托深度学习强大的特征表示
退热煮散治疗急性白血病高热22例276003山东省临沂地区人民医院庞德湘,赵海燕笔者近年来以退热煮散治疗急性白血病高热患者22例,疗效较好。现介绍如下。一般资料本组22例,男13例,女9例;年龄16—38岁,平均26.1岁;体温38.5—42℃,平均...