论文部分内容阅读
传统金融行业中各类型数据丰富,蕴藏着巨大价值,如何有效地使用这些数据并从中提取有用信息,帮助用户进行决策,是目前金融业内人士面临的一大问题。而构建金融领域的知识图谱可作为该领域语义理解及搜索的关键技术,为以后金融领域的文本分析、数据挖掘、决策推理等提供有力支撑。
知识图谱是2012年Google公司提出的一个新概念,是一种用图模型来描述知识和建模世界万物之间的联系的技术方法。知识图谱由节点和边组成,<实体、关系、实体>的三元组形式是知识图谱的基本组成单元。通常用实体代表图里的节点,描述现实世界中的事务,比如人、公司、概念等,用关系代表图里的边,表示实体间的某种联系,如<乔布斯、创建、苹果公司>代表乔布斯和苹果公司的关系是创建。知识图谱在早期主要应用于增强搜索引擎,随后知识图谱在智能问答、语义理解、推荐计算等多方面展现出丰富的应用价值。
本文将探索金融领域知识图谱构建的相关关键技术研究,主要调研并解决如何从金融教材的无结构化文本中进行实体识别和关系抽取。在我们未来的研究计划中,会对构建完善的金融领域知识图谱进行深入挖掘,并开展金融知识问答、自动财报审核等金融文本理解的相关工作。而这些工作必须以金融知识图谱为基础设施。因此,研究知识图谱构建的关键技术是实施人工智能(或金融科技)非常重要的工作。本文主要工作如下。
(1)对知识图谱的关键构建技术做了一定介绍,包括实体识别以及关系抽取。重点概括了命名实体识别及关系抽取领域的研究历程,分析比较了现有模型的优劣,着重讨论了深度学习模型对解决中文实体识别任务和关系抽取相较于其他模型的优势之处。
(2)本文针对金融领域的实体识别在传统的Bi-LSTM-CRF模型上做出改进。在输入层由单一的字向量转为基于融合字词向量的嵌入,并引入自注意力机制(Self-Attention)来学习句子内部的长距离依赖,增强模型的特征提取能力。词向量相比传统的字向量,包含了更丰富的语义信息,将字向量与词向量通过加权求和再平均的方式结合传入模型。同时采用词向量作为输入可以减少人工标注的成本。而加入的自注意力机制可以识别句中相对重要的内容,通过赋予不同的权重来提高它们的重要性。实验结果表明,改进的Bi-LSTM-CRF模型能有效识别金融领域的专有名词实体,较以前的模型有更好的性能。
(3)本文分别针对字向量和词向量的获取做了一定改进。通过BERT中文预训练模型获取语料中每个字的字向量,该模型采用海量维基百科语料进行的语言模型预训练,能学习到潜在的语义信息。同时基于金融领域教科书语料使用fastText算法训练专有领域的词向量,通过字向量与词向量的融合作为增强词向量输入到实体识别模型的Embedding层。
(4)本文设计了一种基于依存句法分析的无监督关系抽取方式。针对已经命名实体识别处理的数据,通过哈尔滨工业大学的LTP工具包进行词性标注和依存句法分析,通过分析语素单位之间的依存关系总结句法结构。基于该语料下的句法结构,本文设计了7种关系抽取语义范式RESF(Relational Extraction Semantic Forms),如修饰结构、动词结构、并列结构等,覆盖了大部分中文语法规则,并通过实验证明该方法在关系抽取方面的有效性。
知识图谱是2012年Google公司提出的一个新概念,是一种用图模型来描述知识和建模世界万物之间的联系的技术方法。知识图谱由节点和边组成,<实体、关系、实体>的三元组形式是知识图谱的基本组成单元。通常用实体代表图里的节点,描述现实世界中的事务,比如人、公司、概念等,用关系代表图里的边,表示实体间的某种联系,如<乔布斯、创建、苹果公司>代表乔布斯和苹果公司的关系是创建。知识图谱在早期主要应用于增强搜索引擎,随后知识图谱在智能问答、语义理解、推荐计算等多方面展现出丰富的应用价值。
本文将探索金融领域知识图谱构建的相关关键技术研究,主要调研并解决如何从金融教材的无结构化文本中进行实体识别和关系抽取。在我们未来的研究计划中,会对构建完善的金融领域知识图谱进行深入挖掘,并开展金融知识问答、自动财报审核等金融文本理解的相关工作。而这些工作必须以金融知识图谱为基础设施。因此,研究知识图谱构建的关键技术是实施人工智能(或金融科技)非常重要的工作。本文主要工作如下。
(1)对知识图谱的关键构建技术做了一定介绍,包括实体识别以及关系抽取。重点概括了命名实体识别及关系抽取领域的研究历程,分析比较了现有模型的优劣,着重讨论了深度学习模型对解决中文实体识别任务和关系抽取相较于其他模型的优势之处。
(2)本文针对金融领域的实体识别在传统的Bi-LSTM-CRF模型上做出改进。在输入层由单一的字向量转为基于融合字词向量的嵌入,并引入自注意力机制(Self-Attention)来学习句子内部的长距离依赖,增强模型的特征提取能力。词向量相比传统的字向量,包含了更丰富的语义信息,将字向量与词向量通过加权求和再平均的方式结合传入模型。同时采用词向量作为输入可以减少人工标注的成本。而加入的自注意力机制可以识别句中相对重要的内容,通过赋予不同的权重来提高它们的重要性。实验结果表明,改进的Bi-LSTM-CRF模型能有效识别金融领域的专有名词实体,较以前的模型有更好的性能。
(3)本文分别针对字向量和词向量的获取做了一定改进。通过BERT中文预训练模型获取语料中每个字的字向量,该模型采用海量维基百科语料进行的语言模型预训练,能学习到潜在的语义信息。同时基于金融领域教科书语料使用fastText算法训练专有领域的词向量,通过字向量与词向量的融合作为增强词向量输入到实体识别模型的Embedding层。
(4)本文设计了一种基于依存句法分析的无监督关系抽取方式。针对已经命名实体识别处理的数据,通过哈尔滨工业大学的LTP工具包进行词性标注和依存句法分析,通过分析语素单位之间的依存关系总结句法结构。基于该语料下的句法结构,本文设计了7种关系抽取语义范式RESF(Relational Extraction Semantic Forms),如修饰结构、动词结构、并列结构等,覆盖了大部分中文语法规则,并通过实验证明该方法在关系抽取方面的有效性。