受益于近年来无需人工标注的自监督方法被提出以及大规模语料库的产生和普及,只需要少量数据在特定任务上进行微调便可以达到不错效果的预训练语言模型一经提出,便在各个领域取得了令人瞩目的成就,其中BERT更是一举刷新了NLP领域的11项记录。但是,研究人员逐渐发现仅基于单纯的预训练模型在面对一些复杂应用场景（如常识推理、领域自适应、知识驱动型任务）时,仍然和人类预期的效果存在差距。如何利用外部知识辅助神经网络模型更好地理解输入文本,是一个值得思考和探讨的问题。而知识图谱作为一种被持久化存储的知识库,其中包含了模型迫切需要的丰富结构化知识,可以被作为有效的外部知识注入到预训练模型中。然而,传统的知识增强模型仍然存在一些尚待解决的问题,如在引入知识图谱时,知识处理不够充分,仅考虑了实体自身的部分信息;在进行知识融合时,由于语言模型和知识图谱对单词的表示存在于两个完全不同的向量空间,会面临异构信息融合问题。另外,经常作为骨干模型的BERT、Ro BERTa等均限制其最大输入长度为512,将超过的部分截断、不足的则补齐。这在很多NLP场景中是比较不合理的,如新闻报刊等长文本中,其输入长度会很轻易超过这个限定值,采取这种做法会丢失大量的语义信息。同时,预训练语言模型对于输入文本本身蕴涵的信息利用也不够充分,一般做法只通过attention机制获取每个词的理解语义,忽略了经过依存句法分析后的词汇间依赖关系也可以作为一种对理解输入有益的外部知识。为此,在本文中我们针对上述场景中存在的问题进行了以下实验探索:1)基于ERNIE预训练语言模型,进一步融合Wiki5m知识图谱中的实体描述信息以及由整个Wikidata三元组生成的KELM-corpus语料库文本信息作为外部知识用于增强模型学习语义表示的能力,既增加了注入的知识,也缓解了由于知识图谱和自然语言文本语义空间维度不一致导致的异构信息融合问题。2)利用Stanford Core NLP、LTP等自然语言处理工具包以及基于规则的依存句法分析事件元素抽取方法,抽取出输入文本中包含的事件要素,整合后作为附加外部知识输入到预训练模型,以缓解模型由于最大输入长度限制而导致信息丢失的问题。3)利用GCN网络聚合由输入文本生成的依存句法图,分析词汇间的依赖关系,再融合BERT模型充分挖掘和利用输入文本自身的知识,以获取到语义增强的词嵌入表示。实验结果表明,我们的方法在Few Rel、TACRED、IFLYTEK、Co LA等中英文数据集上与基准模型相比效果均获得提升。