基于预训练模型的口语理解系统设计与实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:alenhrp1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
口语理解系统是一个让用户通过口语方式与机器进行交互的系统。目前口语理解系统在银行、快递、保险等行业得到广泛应用,其能够通过理解用户口语内容并给出答案,满足用户在特定领域的查询需求。近年来,能自动提供问答服务的口语理解系统成为新的研究热点。从一开始基于传统机器学习实现口语理解系统到如今基于深度学习方法实现,口语理解系统的性能不断得到提高。但口语理解系统仍存在意图识别和词槽填充正确率不足的问题。导致模型正确率不足的原因主要体现在三个方面:问答数据集数据量不足、词槽填充序列预测不合理、领域特征利用不充分。本文主要围绕以下三个方面进行展开并取得创新研究成果:首先,构建意图识别和词槽填充基线模型。通过学习和研究当前口语理解系统的研究成果,构建意图识别和词槽填充基线模型。然后对基线模型中各组件进行研究分析,确定每个组件在模型中的作用以及不足,并针对其不足提出对应优化方法。其次,为改进基线模型的三个不足,本文构建文本相关预训练模型、领域特征训练模型以及条件随机场训练模型。本文首先在基线模型基础上加入文本相关的预训练模型来提高模型的泛化能力,使得训练得到的模型能准确理解集外数据的文本内容;接着基于基线模型加入条件随机场模型,使得模型能够对预测序列特征进行学习,从而处理词槽填充序列预测不合理的问题;然后构建领域特征模型来进一步缩小意图识别的范围,进而提高模型意图识别的准确率;然后基于基线模型构建包含以上三种优化方法的综合模型,并验证模型的有效性。最后,开发基于综合模型的口语理解系统。本文提供一个以WEB浏览器作为交互平台的软件系统。该系统采用B/S架构和使用Golang+My SQL技术进行系统开发。该系统实现语音转写、问题分析、答案获取、口语问答、文本问答等功能。本文从实际出发,结合实践与理论,完成基于综合模型的口语理解系统实现的全过程,并通过测试和使用来体现系统的实用性。
其他文献
公共图书馆作为人类社会中最早出现的信息交流的场所,一直在信息交流中起到至关重要的作用。但信息时代的到来使信息渠道更加多样化,传统的公共图书馆面临着被公众逐渐忘记的困境。虽然互联网使信息流通变的更加方便快捷,但相较之下公共图书馆在信息的完整性、权威性、真实性等方面仍有显著的优势。互联网短视频的兴起,为信息的传播又注入了新的活力,公共图书馆也积极涌入短视频新媒体的潮流中,试图通过新窗口来进行阅读推广、
学位
在信息技术飞速发展的时代背景下,科学技术在教育领域的推广和应用也发展到了前所未有的程度。科学信息技术、人工智能、无线感应技术、数字化发展等等离不开物理,而科学信息技术的快速发展也反过来推动着物理学、物理教育的进步,信息技术与物理课程教学相融合是物理教育的发展趋势。近年来,传感器实验在中学课堂中应用越来越广泛。阅读大量文献后,发现目前大部分有关于此的研究仅限于理论分析和基于智能手机实验的教学设计,将
学位
当前社会高度重视创造性的发展,如何让我们的学生具有足够的创造性,如何培养学生的创造性思维逐渐成为值得研究的命题。目前针对创造性思维的培养主要集中在自然科学学科的范畴当中,但实质上,人文社会科学学科同样应重视创造性思维的培养。《普通高中语文课程标准(2017年版2020年修订)》将思维提高到核心素养的高度,并明确指出应当“通过语言运用,获得直觉思维、形象思维、逻辑思维、辩证思维和创造思维的发展”,创
学位
跨学科研究作为21世纪以来主要的知识生产模式之一,极大促进了当今知识的融合。高被引学者的学术影响力通常高于普通学者,研究高被引学者的跨学科特征有助于典型地抽象出特定领域的知识流动规律。文章选取来自六个领域的2020年度科睿唯安高被引学者300人,以单篇文献的WOS类别为基础,采用专业度S、基尼系数GN分别测度了高被引作者发文学科分布的丰富性和均衡性,并将这两个指标与基于引文期刊类别的作者跨学科引用
学位
近年来,新兴市场国家无论是在外商直接投资方面,还是对外直接投资方面都在逐年增加,在当前坚持对外开放,把“引进来”和“走出去”更好地结合起来的政策背景下,了解外资溢出效应对企业对外直接投资发展的影响是一个重要的研究问题。以往的研究发现,新兴市场国家的外商直接投资对企业对外直接投资有正向显著的溢出作用,也就是说,外商直接投资在一定程度上对对外直接投资有促进作用。作为最大的新兴市场国家,我国吸引外商直接
学位
液晶模组通常利用各向异性导电膜的导电粒子在玻璃基板与集成芯片之间建立电气连接以实现信号传导,被广泛用于智能手机、平板电脑以及各种显示器。在液晶模组生产中,导电粒子检测是保障其电气性能稳定及后续产品质量的关键环节。当前,由于超精密封装和不断增加的产能需求,导电粒子呈现出像素量少、数量密集、形态多样等特点,现有的粒子检测方法已不能满足液晶行业高精度、高速度的检测要求。如何对导电粒子进行高速有效检测成为
学位
试题的创新性是试题的含金量所在。中考试题作为初中教学的重要指导,提高其在原创性方面的表现,是体现教育公平、提高试题质量、引导教师改变教学方法、培养学生创新能力的关键。本研究以2021年中、西、东部共25个城市的中考试题为研究对象,通过对比分析,探查出中考试题在原创性方面的特征,给予参与命题工作的教师试题命制方面的建议。在梳理相关研究的基础上,总结出试题命制的起点、过程和策略。由此,从创新性的角度将
学位
概率知识是高中数学教材中的重要内容之一,也与其他知识的学习密切相关,同时是大学阶段学习的重要基础。基于新教材修订与课程改革条件下,此次研究试图在概率教学课例中引入部分数学史,以期获得对概率教学进行改进的渠道,旨在帮助学生提高概率知识掌握能力的同时,激发学生对数学学习的兴趣,进而确保学习效果的提升。本研究针对概率整章的核心内容——随机事件、古典概型和几何概型,将数学史融入教学流程中。通过行动研究法,
学位
平面三角学是高中数学的重要内容,也是高考的热门考点、高频考点,其丰富的数学史可为教学提供思路、素材和方法,而数学复习课是数学教学中不可或缺的重要环节,数学史融入复习课可以作为一个HPM新的探索方向.本文主要采用文献研究、问卷调查和个别访谈的方法进行HPM视角下三角学教与学的研究.本文分析对比国内主流的新老版本的四种教材;根据HPM研究和复习课研究对已有文献进行整理和对比;整理正弦定理、余弦定理和角
学位
随着世界各国核心素养框架的发布,协作问题解决能力逐渐引起了教育界的关注,该能力的培养被众多国家和地区纳入教育改革的内容之中。而在教学实践中,地理课堂的协作问题解决学习还存在分组不合理、对协作的评估只重视结果而忽略过程等问题。因此,关注协作的分组,对问题解决的过程进行有效探索,能为教师开展协作地理问题解决的教学提供指导。本研究以高中生为研究对象,以地理问题为测试任务,采用实验研究和话语分析的方法,探
学位