基于深度学习的教学场景语言模型研究

来源 :兰州大学 | 被引量 : 0次 | 上传用户:raggae
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据、深度学习的快速发展,作为语言的两个基本属性,语音和文本的研究有了突破性进展。语言是教学场景中最主要的信息交流方式,因此文本和语音的研究对于教育+AI有着重要的意义。作为文本和语音研究中的一项基石工作,语言模型(Language Model,LM)主要应用于语音识别、拍照搜题、机器翻译、智能语音对话等教育+AI领域。目前,语言模型在训练语料相对充足的智能客服等垂直领域已经取得了比较理想的效果。然而,对于语言模型在教学场景中的研究和应用学术界着墨不多,主要有两个原因,一是数据壁垒,高质量的面向教学场景的语料积累太少;二是教学场景的数据有其自身的特点:首先教学场景的语言具有独特的话术性,如老师讲课常用的话术、中英文数字结合等;第二,教学场景的语言具有知识点名词专业性,如数学、物理、化学等学科的专有名词;第三,教学场景中老师、学生的语言通常具有口语化的特点;第四,教学场景具有领域综合性,老师讲课会涉及到其他领域的知识,其目的是把知识点更好地传达给学生。因此,专门针对教学场景训练一个高性能的语言模型势在必行。本论文主要针对教学场景的数据设计并实现了基于深度学习的教学场景语言模型,并完成了通用领域语言模型和本文提出的语言模型的自适应。论文工作主要包括以下几个方面:首先,我们在教学场景数据集上分别实现了统计N元组语言模型和标准RNN语言模型,并根据实验结果对两种语言模型进行了分析。其次,我们在教学场景数据集上设计并实现了以SCN-LSTM为文本特征提取器的语言模型。SCN层通过跳跃连接卷积的结构进行单词相对位置的特征学习,LSTM层对合并后的单词位置信息和词向量进行深层语义特征学习。我们将不同的文本特征提取器实现的语言模型方法在教学场景的数据测试集上进行横向实验比对。实验结果表明,与其他文本特征提取器实现的语言模型相比,使用SCN-LSTM训练的语言模型优势比较明显,该方法大幅度提升了教学场景下语言模型的性能。与传统的N元组语言模型和标准RNN语言模型相比,我们提出的语言模型困惑度相对降低了36.9%和33%。同LSTM语言模型、CNN语言模型、CNN-LSTM语言模型相比,困惑度分别相对降低了25.6%、26%和5.4%。此外我们在语言模型公开数据集PTB上也进行了对比实验并进行了结果分析。最后,为了使面向教学场景的语言模型具有较好的泛化性,我们进行了语言模型自适应研究。将通用领域的语言模型与本文设计的语言模型进行自适应后,语言模型的困惑度相比SCN-LSTM语言模型继续降低了8%,性能得到进一步提升。
其他文献
浮筑结构是为了解决一般楼房撞击声隔声不足的问题而研究开发的,而随着现代建筑中各种设备的广泛使用,对于设备振动噪声的隔绝成为浮筑结构的重要研究方向。由此,浮筑结构的
鄱阳湖越冬候鸟保护最重要的环节是保护栖息地,候鸟栖息地的面积和空间分布随水位过程而变化.在分析认定鄱阳湖湿地景观分类中水陆过渡带及其上下摆动区(稀疏草滩区和浅水区)
我国科技人员及R&D经费的投入是巨大的,但科研产出并不是很理想,除了受体制性因素制约之外,主要根源在于科研团队内部的合作效果难以判断。由于目前尚缺乏对科研团队有效
基于大学英语学习者语料库COLEC,作者首先采用WordSmith软件从COLEC语料库中提取所有3至6词词块,然后把词块按结构分为完整分句、分句成分和不完全词组3大类别,最后重点讨论
通过对河北省衡水市部分县市区中小学音乐教育现状的调查,我们充分了解到农村中小学音乐教育的状况不容乐观,拟采取的对策有三,一是改变传统用人思想;二是创新培训模式三是因
苏州河是一条流经上海市区的过境河流.本研究试图以鱼类群落状况来评估该河的环境质量.将2001年采集到的鱼类标本与20世纪60年代上海科技馆(旧名上海自然博物馆)的收藏标本进
德育是素质教育的重要组成部分,也是我国教育研究领域的一个重要内容。本文通过分析德育与中学思想政治课教育的相互关系,指出思想政治课德育建设当前面临的机遇与挑战,得出
本文从认知功能的视角出发,探究体验式外语学习。认知功能取向的语言研究以语言系统为理论目标,旨在表述语言系统的基本特征。认知功能模式认为,语言习得过程就是系统初始神
<正>死亡之吻,时刻相伴苏军密集使用直升机的结果,刺激阿富汗"圣战者"们加强对空防御,据点里越来越多地出现12.7毫米口径的DShK高射机枪和火力更强的14.5毫米口径KPV、ZPU机
三萜类化合物广泛存在于自然界中,其中含量最高的是白桦脂醇,其在白桦树外皮中的含量高达10-34%。桦木醇不仅提取成本低、原料易得,而且具有较好的药理活性,因此得到了国内外