基于神经网络的自然语言语义表达及推理方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:q344494
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
认知智能旨在实现机器具备像人一样的理解、联想、推理等能力,是人工智能的重要领域。自然语言语义表达与常识推理是认知智能研究的关键任务。自然语言语义表达指的是将自然语言转换成机器可以处理的语义表征形式,是实现自然语言理解的基础。现阶段的语义表达方法主要基于统计分布假设,利用海量文本与统计建模,将自然语言中的语义信息表征为高维稀疏或低维稠密的向量形式。如何提高语义表征向量的精度仍然是当前语义表达研究的关键问题。常识推理关注机器对常识知识的运用以及推理能力。现阶段的常识推理方法仍以马尔科夫逻辑网络、贝叶斯网络等传统概率逻辑推理方法为代表。这些方法往往存在模型结构复杂、先验信息依赖性强、效率低、扩展性差等问题。本文围绕基于神经网络的自然语言语义表达及推理方法,在词语语义表达、面向常识推理的神经网络模型、常识知识库构建方法和自然语言推理系统等方面开展研究工作,具体包括:首先,研究了融合多源信息与神经网络建模的词语语义表达方法。现有词语语义表达方法单一依赖基于海量文本的统计分布假设,受文本噪声和歧义等影响,语义表达的精度不够理想。因此本文提出了融合海量文本与词汇语义知识的语义词向量构建方法和词性信息监督下的词性增强词向量方法,通过在神经网络训练过程中合理利用语义知识库、词性序列等多源信息,提高了单词语义表达精度,取得了多个自然语言理解任务上的性能提升。其次,研究了面向常识推理的神经网络建模方法。针对传统推理方法中存在的事件表达稀疏性与推广性问题,本文将连续语义空间表达引入常识推理,提出了神经联想模型。该模型将大量自然事件映射到连续语义空间中,利用深层人工神经网络实现对事件间联想关系的统一建模,最终完成基于事件联想的常识推理。在多个自然语言理解及推理任务上的实验结果表明,神经联想模型取得了优于现有模型的性能,并且具有良好的知识迁移学习能力。再次,研究了基于海量文本的常识知识库自动构建方法。针对常识知识库稀缺且人工构建代价高的问题,本文提出了基于海量文本的因果知识获取方法。该方法首先定义常用词语词典用于约束常识知识库的构建空间,然后在海量文本上进行核心句抽取与自动分析操作,最终得到大量具有因果关系的短语对作为常识知识库。基于以上方法,本文完成了包含五十余万条因果短语对的常识知识库的构建,为后续的自然语言推理系统构建提供了数据支撑。最后,设计实现了面向认知智能评测的自然语言推理系统。在上述语义表达、常识推理模型、常识知识库构建等研究工作的基础上,构建了面向Winograd Schema Challenge(WSC)评测任务的自然语言推理系统。针对常识推理子任务,设计实现了基于常识知识库和神经联想模型的因果推理系统,首次完成了 WSC因果子集上的自动常识推理;针对指代消解子任务,提出了基于知识增强语义模型的推理方法,采用语义词向量技术将常识知识融入词向量构建过程,实现了缺少任务相关训练数据情况下无监督的语义特征提取与推理,使用该方法构建的系统在2016年的WSC评测中取得了最优的性能表现。
其他文献
根据手术室工作的特点,探索具有专科特色的护士分级管理方案。将手术室护士分为17个层级,制订分级标准和分级管理制度,开展以层级为依据的全员培训,实施以分层管理制度为框架
游客对于旅游产品多样化的旅游需求,决定了云南老君山旅游开发模式选择需按照市场和本旅游区自然资源、人文资源进行优势资源打造,以优势资源为核心资源选择老君山旅游开发的
针对水体藻毒素的污染问题,本文以山仔水库为研究对象,系统研究了水体富营养化与藻毒素污染之间的关系,降解藻毒素高效菌的筛选、分离、鉴定及其降解藻毒素的效能与机理。探
水轮发电机组是水力发电的主要设备,而其轴系又是水轮发电机组的关键部位,它的动力特性的优劣直接关系到电站的安全性和机组运行的稳定性、可靠性及寿命。因此,对大型水轮发
文章首先分析了影响我国四川农村居民收入的因素,再运用实证方法对四川农民1992~2007年的经济统计数据进行分析,得到了影响四川农村居民纯收入的多元线性回归模型。该模型验证
随着人们生活水平的提高,人们对食物的需求开始由数量型向质量型转变,越来越注重食品的安全性、科学性和经济性。为此我国启动了“安全食品计划”,并实施了农产品从“农田到
目的探讨氧驱雾化吸入综合防治鼻咽癌患者放射治疗所致口腔黏膜反应的效果。方法将60例采用瘤床整合补量调强放射治疗的鼻咽癌放射治疗患者随机分为实验组与对照组各30例。两
本文主要运用了比较分析法、历史分析法、案例分析法和归纳法,从环境侵权及其救济的局限性、惩罚性损害赔偿概述、环境侵权惩罚性损害赔偿的可行性以及环境侵权惩罚性损害赔
本文以"科技镇长团长效工作机制的构建"为研究对象,采用理论联系实践的方法,通过调研部分科技镇长团,结合问卷调查,就科技镇长团的选人与用人合力机制进行了探究,分别从有效
开发利用地下空间是当前大城市建设的一种潮流。随着城市社会经济的飞速发展,越来越多的城市设施在向地下要空间,城市地下空间开发利用的规模不断扩大,地下空间的功能类别也