在信息爆炸时代,为了能够获取相关事物准确全面的知识,需要借助知识图谱技术进行知识融合。知识融合面向不同知识图谱解决信息交叉与缺失问题,而实体对齐技术作为其首要且关键的一步,是将知识图谱间存在的等价实体建立关联,从而为实体信息共享奠定基础。目前实体对齐相关研究大多只关注实体在知识图谱上的结构和关系知识,对实体的属性和其他多模态知识关注甚少。一方面忽略了知识图谱中实体相关的拓扑结构、属性、关系之间的语义交互作用,另一方面实体的文本模态归纳学习能力较差,而且存在双向对齐优化问题。为此,本文开展基于多模态信息的实体对齐方法研究。本课题的主要研究内容如下:（1）将实体相关的多模态知识划分为三类:图像模态、文本模态、知识图谱信息,进一步将实体相关的知识图谱信息划分为拓扑结构、属性和关系三类。对于拓扑结构使用图注意力网络进行嵌入;对于属性和关系知识基于词袋模型思想进行初始化,并通过全连接层和高速网络层进行嵌入;对于实体的图像模态知识,使用深度残差网络作为初始特征提取器,再经过向量空间转换得到实体的图像模态语义。对于上述拓扑结构、属性、关系、图像四类知识的模型训练,引入权重矩阵调节各自贡献比。（2）针对知识图谱中拓扑结构、属性、关系之间的语义交互作用被忽略的问题,提出基于双重多头注意力的属性结构交互学习方法,使用图注意力网络思想构建属性注意力层和领域注意力层,用于提取实体相关的属性结构交互语义;同时,提出基于关系语义建模的关系结构交互学习方法,包含全局结构嵌入层和局部语义优化层,使用TransE算法建模关系语义,并通过联合训练方式对实体的拓扑结构和关系进行交互学习。（3）针对实体文本模态归纳学习能力差的问题,提出基于Multilingual BERT的分级语义融合模型,兼顾Multilingual BERT的CLS级别输出和Token序列级别输出,对于后者进一步学习双向时序特征和不同位置词嵌入语义。将实体对齐作为Multilingual BERT的预训练目标,对模型进行微调,提升对本文实验数据集的语料学习能力。（4）针对双向对齐优化问题,对实体的多模态语义进行联合嵌入,引入双向对齐调节因子,控制正反两个对齐方向之间实体匹配的相互影响,得到最终的实体对齐结果。使用公共数据集DBP15k进行实验验证,与当前主流实体对齐方法对比,并分模块开展实体对齐实验和各模态消融实验,验证本文基于多模态信息的实体对齐方法具备有效性。