文本阅读理解的研究与实现

来源 :大连工业大学 | 被引量 : 0次 | 上传用户:quzg2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的兴起和深度学习研究的进步,自然语言处理(Natural Language Processing,NLP)成为计算机学科和人工智能领域的重要分支之一,NLP的最终目标是计算机能够具备阅读和理解语言的能力,实现人类运用自然语言和计算机进行沟通交流。现在典型的研究方向有文本分类、命名实体识别、信息检索、关系抽取和问答系统等。机器阅读理解(Machine Reading Comprehension,MRC)题目主要包含三个组成部分:文章(Passage,P),问题(Question,Q)和答案(Answer,A)。机器阅读理解的任务是计算机在输入文章和问题之后,通过一定的判断和推理,最终给出答案。阅读是人类的基本技能之一,人类可以根据以往的生活经验,给出具有自己特定的答案。而机器不具备这样的能力,每一个模型的设计之初都是崭新的。因此,模型需要具备学习的能力,在问题回答完之后,能够总结经验,形成一套自己的阅读推理体系,来回答更多未知的题目。本文提出了一种基于语义信息的注意力神经网络模型,能够根据中文的分词特点和上下文的语言环境,提取相关信息。首先,在嵌入层改进了BERT预训练语言模型,优化预处理,更好的适用于中文阅读理解题目。其次,处理过的词向量通过双向LSTM编码,提取内部特征信息,在编码层通过注意力机制把问题和文章进行加权融合,生成问题感知的短文上下文语义理解,得到最终的原文表示。同时在编码层、交互层和检查层三层神经网络之间加入了两个门控函数tanh,用来去掉与答案无关的信息,增加相关信息的权重。再次,在交互层使用self-attention在全文中捕捉信息,将问题和文本逐字交互收集回答问题的有效证据,再通过解码形成最终语义表示。最后,增加了检查层check layer,把问题和答案再次进行attention计算,强调问题特征的重要性,防止信息在神经网络中传递时丢失。在输出层使用经典的答案预测网络point network,来预测答案的开头和结尾位置的概率。另外,由于网络结构较复杂和数据量不足,模型容易产生过拟合的问题,增加了增强数据集。本模型在中文阅读理解数据集CMRC 2018上进行了验证,并且和著名的预训练语言模型BERT进行了比较,其中,EM值和F1值分别提高了5.2%和5.5%。在英文数据集SQuAD的测试集上,模型的EM值和F1值分别提高了5.3%和4.7%。通过对数据集的扩充,增加训练规模,优化了模型的性能,同时也证明了改进方法的有效性。为了更直观地演示模型的效果,设计了一个仿真交互界面,实现对本模型的验证和测试。
其他文献
我国民间美术文化历史悠久,蕴藏于众多的传统艺术当中,数千年来它根植于民间的劳动和生活,具有质朴、新颖的特征,是中华民族最自然、最真实的一种表达,同时也是公认的中国文化象征。但随着时代的发展,多元文化的影响,导致民间美术的传承问题日益严峻,很多传统的美术形式淡出了我们的生活。故本文用绘本纯粹且富有童真的方式,将民间美术元素和形式进行创新表现,尽可能地把传统民间美术以当代新的形式展现在大众眼前,把以往
学位
在梅洛·庞蒂的身体现象学理论中的视域问题一直是备受关注,其理论主张人的先验意识与视觉经验的直观,人在世存在的依据必然出现在身体之中,关于“看”是通过身体与事物之间的深度体验与交织,构成人行为的自在意义,在身体内部完成反思。梅洛·庞蒂在《眼与心》一文中论述从画家到可见物的存在而引发“看”究竟是什么?主张存在始终被可见物掩盖着的、与人的注视着的东西的关系里面。塞尚是被可见物“召唤”着,塞尚绘画的呈现正
学位
进入生物与科技的时代,人类每天接受来自生物科技和人工智能带来的惊喜和思考,跨界合作与创新融合带给艺术家的科学家和科学家的艺术家与众不同的思考与顿悟,来自宇宙的灵感和自然的馈赠,让艺术有了新的语言表达形式。每一次的科技创新都伴随着新的艺术思潮,现在,尽管我们的教育被划分成不同的科目,但新时代需要达·芬奇这类综合性跨学科式的人物,新的媒体艺术已经成为当代艺术发展的重要课题。在后现代主义的浪潮中,创建任
学位
新疆少数民族种类繁多,维吾尔族作为古老且人数众多的少数民族,经过长期的历史积淀,形成了丰富而独特的民族文化,而这丰富的历史文化资源恰恰是设计工作中无尽美学和精神的源泉,本文仅以维吾尔族作为研究对象。本文基于文化基因的视角,对新疆产品的包装设计提出建议和想法,旨在通过包装设计传承与弘扬优秀的新疆维吾尔族传统民族文化,并通过包装设计的相关理论研究、实地调研的方法,将优秀的新疆维吾尔族文化梳理分类,提取
学位
“空”在佛教中本意指为在我们所存在的这个世间中,所谓那些看到的、感受到的客观存在的事物均是幻象,并不真实存在。本文中的“空”根据当下社会现象和新媒体大环境,结合“景观社会”衍生出在被表象迷失后能够重新摆脱过度的物质欲望以期削弱物化的意识形态从而逐渐实现精神的自由和释放。它是一个缓慢的过程。当今的新媒体环境对人类的生活和发展产生了许多影响,新媒体艺术与其依托于媒介表现的视觉符号犹如一条不断流淌的河流
学位
艺术设计与“静”的关系犹如人体和大脑的关系,密不可分。“静”精神支撑艺术设计。“重为轻根,静为躁君”。(《道德经》第二十六章)“静”精神从中国传统哲学中提炼出来。“静”是一种超脱精神,是来源于心灵深处宁静的归属感,具有生命力。在艺术设计中“静”精神通过精神移入、转移、回归支撑艺术设计。本文以“静”精神为对象,从艺术设计和“静”的关系角度分析,从中发现,随着社会经济的不断发展,人们对精神文化的需求也
学位
艺术的主观性决定了艺术的多样性。这种主观性使许多鲜活的艺术形式展现在我们面前。而雕塑的创作与作者自我情感是分不开的,一件艺术品就像作者思想的立体投射,而表达的自我情感却深藏其中。创作者的自我情感往往影响着雕塑创作的整体效果。一个灵感,或是创作者脑中的一句话,是如何从一个抽象的、单薄的概念,向一个具体的雕塑成功飞跃的。雕塑创作中的语言与其他艺术语言有两种不同,一是同形不同义。同样是一种形式,在雕塑艺
学位
历史街区是存放有较多古代重要文物或者古迹的区域,历史街区具备有各种特性,例如独特性、文化性以及不可替代性,其中文化性与当代艺术的融合越来越紧密,在近年来形成了历史街区文化产业。近年来,各类历史文化产业街区逐渐诞生,在多数历史街区设计上存在着产业聚集倾向,也就是历史街区过度追求文化产品的创意、生产、销售,使得整体的历史街区更偏向于艺术产品销售市集或者产品展览馆,这对于历史街区的开发利用是不利的,这也
学位
热加工是食品加工中最常用的方法之一,热加工不仅可以改变产品色泽、风味、组织结构,同时也可以降低微生物的数量,达到延长货架期的作用。鲍鱼热加工过程的品质参数发生复杂变化,现有的鲍鱼热加工产品的品质检测大多由人工完成,无法提供热加工过程品质定量数据,降低了鲍鱼热加工产品的附加值,同时也制约了加工生产线智能化水平。因此,在揭示鲍鱼热加工过程品质变化规律基础上,提出鲍鱼热加工过程品质参数快速、无损、定量预
学位
最近几年来,无人机作为新兴行业,发展迅猛,应用领域广泛,如电力巡检、灾难救援,物流传输等。其中四旋翼无人机是最为常见的,应用最为广泛的一种。由于四旋翼无人机多用于替代人力在恶劣危险的环境下作业,所以无人机的执行器不可避免的会受到故障影响,会降低工作效率,甚至会有更为严重的后果。为了四旋翼无人机的安全性,各地学者开始纷纷关注无人机的容错控制。本文将以四旋翼无人机作为被控制对象,针对无人机在飞行中会遇
学位