论文部分内容阅读
摘要：神经网络作为一种重要的机器学习算法，基本上是模仿人脑进行 感知和认知。 在自然语言处理领域得到了广泛的应用，并取得 了显著的效果。 神经网络具有很强的捕捉特征的能力。它可以通过 非线性变换将输入数据的特征分布从原始空间转化为另一个特征空 间，并自动学习特征表示。 因此，它适合于抽象任务，如知识推 理。在这里，我们回顾了神经网络和知识图谱的基本概念和定义，以及对利用神经网络技术构建知识图谱进行论述。具体而言，我们将推理方法分为三类：基于规则的推理、基于分布式表示的推理和基于神经网络的推理。经过对几个推理任务的实验表明，在知识图谱实践过程中，使用DNN 和RMNN都能优于传统的方法。
中图分类号：G4文献标识码：A文章编号：（2021）-04-412
导言
神经网络长期用于知识图推理，在SE模型中，两个实体向量的参数不相互作用。引入一个单层模型（SLM），它通过标准的单层神经网络的非线性隐式地连接实体向量。可持续可用于推理两个实体之间的关系。 然而，非线性只提供了实体向量之间的弱相互作用。 为此，引入一种表达神经张量网络（NTN）进行推理。用双线性张量层代替标准的线性neu-ral网络层，它直接将两个实体向量跨多个维度联系起来。通过从文本中以无监督的方式学习单词向量，并且在这样做时，甚至可以查询到知识图中未见的实体的现有关系。提出一种新的人工智能概率推理深度学习方法，称为神经关联模型，重点研究深层神经网络（DNN）。
1.相关工作
1.1.基于卷积神经网络的知识推理
随着深度学习的兴起，人们正在尝试将深度学习技术引入知识推理领域.大多数现有的基于翻译的推理方法只集中在实体之间的结构信息上，而不考虑实体描述中编码的丰富信息。例如，姚明是中国著名的篮球运动员，同时包含实体姚明的国籍信息和职业信息，这些多源异构信息可以有效地处理数据稀疏问题，增强实体和关系的区分能力。
为了从知识图中推断出新的实体，提出了一种新的方法，引入一个名为ConMask的模型来解决这一任务。 它使用关系相关的内容来突出与任务相关的单词，然后训练一个全卷积神经网络（FCN）进行目标融合。对开放世界数据集和封闭世界数据集的实验表明，可以获得良好的性能。然而，这些推理方法忽略了知识图中丰富的属性信息，如年龄和性别-知识图中的实体。 为此，提出了一种新的多任务神经网络（MT- KGNN），在推理过程中通过编码属性信息来学习实体、关系和属性的表示。对知识图的结构和关系进行建模，对实体和相应属性进行建模，预先定义关系和属性。
1.2.基于强化学习的知识推理
在使用知识库推广问答系统时，我们有时只使用知识库来回答问题。 然而，当问题复杂，知识库不完整时，问答系统需要能够用现有的三元组推断未知答案。推理答案的过程可以被建模为一个序列化的决策问题，因此，它可以通过强化学习来解决。基于推理方法的神经网络试图利用神经网络强大的学习能力来表示知识图中的三元组，从而获得更好的推理能力。
1.3.知识图推理的应用
知识推理技术在其他一些智能场景中也起着重要的作用。 例如，知识推理技术可以用来理解搜索引擎中用户的查询意图。 此外，它 还可用于其他计算语言学任务，如剽窃检测、情感分析、文档分类、 口语对话系统。
知识图谱是一种人类可识别且对机器友好的知识表示。知识图谱采用了人类容易识别的字符串来标识各元素;同时，图数据表示作为一种通用的数据结构，可以很容易地被计算机识别和处理。
作为一种应用型技术，知识图谱支撑了很多行业中的具体应用。例如：
- 信息检索：搜索引擎中对实体信息的精准聚合和匹配、对关键词的理解以及对搜索意图的语义分析等;
- 自然语言理解：知识图谱中的知识作为理解自然语言中实体和关系的背景信息;
- 问答系统：匹配问答模式和知识图谱中知识子图之间的映射;
- 推荐系统：将知识图谱作为一种辅助信息集成到推荐系统中以提供更加精准的推荐选项;
- 电子商务：构建商品知识图谱来精准地匹配用户的购买意愿和商品候选集合;
- 金融风控：利用实体之间的关系来分析金融活动的风险以提供在风险触发后的补救措施（如联系人等）;
- 公安刑侦：分析实体和实体之间的关系以获得线索等;
- 司法辅助：法律条文的结构化表示和查询来辅助案件的判决等;
- 教育医疗：提供可视化的知识表示，用于藥物分析、疾病诊断等;
随着人工智能技术的发展，知识图推理在多个知识驱动任务中将会得到更广泛的探索和应用。
参考文献
[1] 石纯一，黄昌宁，王家麻，等.人工智能原理[M].北京∶清华大学出版社，1993.307，329-332.
[2] 郭艳华，周昌乐.自然语言理解研究综述[J].杭州电子工业学院学报，2000，20（1）∶58.
[3] 黄曾阳.HNC理论概要[J].中文信息学报，1999，11（4）11.
[4] 侯国峰.一个自然语言理解系统的设计和实现[J].计算机应用研究，2001，（2）∶19.
[5] 赵光武.思维科学研究[M].北京∶中国人民大学出版社，1999.18- 84.
[6] 周锡令.关于自然语言理解的理解[J].语言文字应用，1997，（4）：95.宫云宝. 面向知识图谱构建的知识验证方法研究[D]. 湖南： 国防科学技术大学， 2017.
[7] 韩明皓.基于知识图谱的关系推理算法研究.学位论文：电子科技大学 2018-06-01
[8] 官赛萍.面向知识图谱的知识推理研究进展.软件学报 2018-10-06
[9] Simmons R F， Bruce B C. Some Relations Between Predicate Calculus and Semantic Net Representations of Discourse[C]// International Joint Conference on Artificial Intelligence. DBLP， 1971：524-530.
中图分类号：G4文献标识码：A文章编号：（2021）-04-412
导言
神经网络长期用于知识图推理，在SE模型中，两个实体向量的参数不相互作用。引入一个单层模型（SLM），它通过标准的单层神经网络的非线性隐式地连接实体向量。可持续可用于推理两个实体之间的关系。 然而，非线性只提供了实体向量之间的弱相互作用。 为此，引入一种表达神经张量网络（NTN）进行推理。用双线性张量层代替标准的线性neu-ral网络层，它直接将两个实体向量跨多个维度联系起来。通过从文本中以无监督的方式学习单词向量，并且在这样做时，甚至可以查询到知识图中未见的实体的现有关系。提出一种新的人工智能概率推理深度学习方法，称为神经关联模型，重点研究深层神经网络（DNN）。
1.相关工作
1.1.基于卷积神经网络的知识推理
随着深度学习的兴起，人们正在尝试将深度学习技术引入知识推理领域.大多数现有的基于翻译的推理方法只集中在实体之间的结构信息上，而不考虑实体描述中编码的丰富信息。例如，姚明是中国著名的篮球运动员，同时包含实体姚明的国籍信息和职业信息，这些多源异构信息可以有效地处理数据稀疏问题，增强实体和关系的区分能力。
为了从知识图中推断出新的实体，提出了一种新的方法，引入一个名为ConMask的模型来解决这一任务。 它使用关系相关的内容来突出与任务相关的单词，然后训练一个全卷积神经网络（FCN）进行目标融合。对开放世界数据集和封闭世界数据集的实验表明，可以获得良好的性能。然而，这些推理方法忽略了知识图中丰富的属性信息，如年龄和性别-知识图中的实体。 为此，提出了一种新的多任务神经网络（MT- KGNN），在推理过程中通过编码属性信息来学习实体、关系和属性的表示。对知识图的结构和关系进行建模，对实体和相应属性进行建模，预先定义关系和属性。
1.2.基于强化学习的知识推理
在使用知识库推广问答系统时，我们有时只使用知识库来回答问题。 然而，当问题复杂，知识库不完整时，问答系统需要能够用现有的三元组推断未知答案。推理答案的过程可以被建模为一个序列化的决策问题，因此，它可以通过强化学习来解决。基于推理方法的神经网络试图利用神经网络强大的学习能力来表示知识图中的三元组，从而获得更好的推理能力。
1.3.知识图推理的应用
知识推理技术在其他一些智能场景中也起着重要的作用。 例如，知识推理技术可以用来理解搜索引擎中用户的查询意图。 此外，它 还可用于其他计算语言学任务，如剽窃检测、情感分析、文档分类、 口语对话系统。
知识图谱是一种人类可识别且对机器友好的知识表示。知识图谱采用了人类容易识别的字符串来标识各元素;同时，图数据表示作为一种通用的数据结构，可以很容易地被计算机识别和处理。
作为一种应用型技术，知识图谱支撑了很多行业中的具体应用。例如：
- 信息检索：搜索引擎中对实体信息的精准聚合和匹配、对关键词的理解以及对搜索意图的语义分析等;
- 自然语言理解：知识图谱中的知识作为理解自然语言中实体和关系的背景信息;
- 问答系统：匹配问答模式和知识图谱中知识子图之间的映射;
- 推荐系统：将知识图谱作为一种辅助信息集成到推荐系统中以提供更加精准的推荐选项;
- 电子商务：构建商品知识图谱来精准地匹配用户的购买意愿和商品候选集合;
- 金融风控：利用实体之间的关系来分析金融活动的风险以提供在风险触发后的补救措施（如联系人等）;
- 公安刑侦：分析实体和实体之间的关系以获得线索等;
- 司法辅助：法律条文的结构化表示和查询来辅助案件的判决等;
- 教育医疗：提供可视化的知识表示，用于藥物分析、疾病诊断等;
随着人工智能技术的发展，知识图推理在多个知识驱动任务中将会得到更广泛的探索和应用。
参考文献
[1] 石纯一，黄昌宁，王家麻，等.人工智能原理[M].北京∶清华大学出版社，1993.307，329-332.
[2] 郭艳华，周昌乐.自然语言理解研究综述[J].杭州电子工业学院学报，2000，20（1）∶58.
[3] 黄曾阳.HNC理论概要[J].中文信息学报，1999，11（4）11.
[4] 侯国峰.一个自然语言理解系统的设计和实现[J].计算机应用研究，2001，（2）∶19.
[5] 赵光武.思维科学研究[M].北京∶中国人民大学出版社，1999.18- 84.
[6] 周锡令.关于自然语言理解的理解[J].语言文字应用，1997，（4）：95.宫云宝. 面向知识图谱构建的知识验证方法研究[D]. 湖南： 国防科学技术大学， 2017.
[7] 韩明皓.基于知识图谱的关系推理算法研究.学位论文：电子科技大学 2018-06-01
[8] 官赛萍.面向知识图谱的知识推理研究进展.软件学报 2018-10-06
[9] Simmons R F， Bruce B C. Some Relations Between Predicate Calculus and Semantic Net Representations of Discourse[C]// International Joint Conference on Artificial Intelligence. DBLP， 1971：524-530.