基于改进LSTM单元的循环神经网络中文分词研究

来源 :南华大学 | 被引量 : 7次 | 上传用户:fongyu061440
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中文分词作为中文自然语言处理的基础任务,是信息抽取、文本挖掘、信息检索等领域不可替代的预处理方法。随着人工智能技术的飞速发展,循环神经网络在语音识别、机器翻译等序列任务中表现突出,尤其是基于长短期记忆(Long Short-Term Memory,LSTM)单元的循环神经网络在各个领域都取得巨大成就,在中文分词任务中也取得媲美传统统计方法的成绩。但是,在单向单层网络的基础上搭建双向多层网络的试验表明,基础模型的精度并没有随模型复杂度的提升而进一步明显升高。而LSTM单元自身复杂的结构却成为研究和使用的瓶颈,训练与预测均要消耗大量的时间,简化基础模型已成为当务之急。论文在研究深度学习基础理论与LSTM单元结构的基础上,结合现有文献对循环神经网络及其单元结构的理论研究,经过试验,提出一个新的LSTM单元简化变种。该变种结构极为简单,并且仅包含一个门结构,区别于同样只包含一个门的最少门单元(Minimal Gated Unit,MGU),论文称该结构为简化门单元(Simplified Minimal Gated Unit,SMGU)。与之前的变种相比,SMGU使用与MGU完全不同的思路将LSTM中的3个门减少到1个,对隐藏状态的更新过程也极为简单。同时,SMGU在隐藏状态更新的过程中,完全去除隐藏状态对自身的影响。这也是SMGU区别于LSTM及其变体最大的一点。简单的计算过程使得SMGU单元的极限参数量不超过同等输入LSTM模型的1/2,实际中则更少。理论上模型越简单,越易于分析,在包含门结构的循环神经网络理论研究中,SMGU单元是保持各方面优点的最简结构。使用SMGU搭建循环神经网络进行实验表明:在得到与LSTM网络同等精度的情况下,SMGU的训练时间仅为LSTM的一半,推理预测速度更是达到其3倍。对比GRU和MGU的结果也表明,在如中文分词的序列任务中,更新隐藏状态不适合使用隐藏状态自身作为输入。
其他文献
<正>吴泽教授(1913.1.13—2005.8.6)是我的博士研究生导师。恩师百年诞辰即将来临之际,我更加深切怀念他。晚年时,他曾用"通古今指点江山,说未来经纬天地"来勉励自己的学生。
鸡蛋有哪些营养鸡蛋含有147%的蛋白质,116%的脂肪,并含有丰富的除维生素C以外的几乎所有的其他维生素和矿物质。鸡蛋的蛋白质主要为卵白蛋白和卵球蛋白,包括人体所必需的8种氨基酸,与人
期刊
通过分析安卓的这个平台,相对于其他系统更容易实现和扩展,通过Android Studio这个软件进行安卓学习系统的开发,通过和老师小组成员的讨论对于学习系统的架构的定位,做出更适
随着国民经济的高速发展和交通运输对重要基础设施的新要求,大跨度桥梁的修建规模和数量与日俱增,同时大跨度桥梁是交通行业新技术集中应用与创新的综合体现。作为世界上第一
"安全是煤矿最大的政治,是煤矿最大的利益,是领导最大的责任,是职工最大的福利",所以,煤矿安全生产就是煤矿的头等大事。要抓好一个煤矿的安全生产工作并不是一件简单的事情,
本文在解析绿色增长内涵的基础上,以经济生产全过程绿色化为核心,从自然资源基础投入、增长过程绿色化、经济和社会产出3个方面构建绿色增长评价框架体系,运用相关——模糊粗
环境保护问题迫在眉睫,对于内河港口亦是如此.与沿海港口相比,内河港口的一些特殊性使得其生态建设显得尤为重要.建设生态型内河港口任务艰巨,意义深远.通过阐述建设生态型内
在多媒体辅助教学中,运用情境兴趣的规律,优化多媒体教学课件模板、文本结构与内容、文本呈现方式设计,对于激发和维持学生的课堂学习兴趣,提高教学效果与质量至关重要。多媒
<正> 党的十六大把“三个代表”重要思想同马克思列宁主义、毛泽东思想和邓小平理论一道确立为我们党必须长期坚持的指导思想,为此,我们要以“三个代表”重要思想为指导,紧紧
党的十八大开启了中国特色社会主义新时代,党的十九大提出要培养担当民族复兴大任的时代新人,提高全民族法治素养和道德素质。在新时代全面推进依法治国的背景下,法治教育的地位提升,国家对公民法治素养的要求也越来越高。高等学校是实施科教兴国战略和人才强国战略的重要阵地,源源不断为社会输送高素质人才。大学生作为国家未来的建设者和实现中华民族伟大复兴中国梦的生力军,其法治素养高低直接关系到法治中国的建设进程。系