基于Skip机制的文本情感分类建模与实践

来源 :武汉大学 | 被引量 : 0次 | 上传用户:huanle986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交网络的快速发展,越来越多的人们习惯于通过社交平台发表自己的言论,分享自己的生活并获取自己感兴趣的信息。对文本进行情感倾向分析,不仅可以从中了解到用户的个人喜好,还可根据这些信息进行舆情监控。文本情感分类是自然语言处理任务中的重要任务之一。目前基于神经网络模型的方法在自然语言处理任务中取得了不错的效果。本文提出了改进的神经网络模型用于情感分类任务中,取得了不错的效果。本文的主要工作如下:首先针对输入模型的数据部分不全是与任务相关的数据特性,提出在模型中加入skip机制,使得模型能够自适应的学习跳过与任务不相关的数据。为实现skip机制,探索性的提出了两种实现方法。Skip-Before机制是模型在计算当前数据的隐藏状态前,模型运算得出skip的概率值后决定是否跳过当前词,若跳过该词则模型不再计算当前词的隐藏状态。Skip-After机制是首先计算出当前输入的隐藏状态后,模型运算得出skip的概率值后决定是否跳过当前词,若跳过该词则丢弃已计算出的隐藏状态值。其次将提出的两种skip机制应用到RNN模型和LSTM模型中,构建了SkipBefore-RNN、Skip-Before-LSTM、Skip-After-RNN和Skip-After-LSTM四种模型。使用仿真数据验证模型功能,首次的仿真实验的效果不佳,提出了使用动态学习率的方法改进模型,再次使用仿真数据进行验证实验,验证模型的可行性。再次将四种模型用于文本情感分类中,使用IMDB电影评论数据集和Stanford Sentiment Treebank数据集进行了一系列的探索实验。实验结果证明了本研究中提出的skip机制的有效性,模型能够自适应的学习skip行为,跳过文本中与任务不相关的词,在某种程度上可以减少模型的计算代价,提升模型的训练效率。基于skip机制的RNN模型的鲁棒性较差,在某些情况下效果良好,某些情况下效果比较差。基于skip机制的LSTM模型效果很好,能够有效的跳过文本中包含不重要信息的词。最后介绍了为优化模型尝试了两种方法。总结了优化实验流程和提升模型训练过程的方法和要点,为后来的研究人员提供了参考价值。本文的创新点如下:(1)提出了Skip-Before机制,其主要思想是,模型中的神经元首先计算skip的概率,依概率值决定是否进行隐藏状态的运算操作。实现了基于此机制的SkipBefore-RNN模型和Skip-Before-LSTM模型。(2)提出了Skip-After机制,其主要思想是,模型中的神经元首先计算出当前的隐藏状态值候选值,神经元计算出skip概率值,依概率值决定是否执行更新操作。实现了基于此机制的Skip-After-RNN模型和Skip-After-LSTM模型。(3)在构建Skip-Before-RNN、Skip-Before-LSTM、Skip-After-RNN和SkipAfter-LSTM模型时,为了实现模型自适应的学习skip的行为,使用动态学习率的方法计算skip的概率以此改进模型。
其他文献
在深海多相混输管道中,含蜡原油易形成油包水乳状液并在管内发生蜡沉积,分散相水滴会对蜡分子扩散过程产生影响,因此,开展油包水乳状液蜡沉积规律的研究对保障管道安全运行有
随着人们的生活水平不断的提高,对于自身的身体素质的要求也越来越高。在很多的学校当中都会增加体育课,并且在体育课程当中篮球训练是主要的部分,因为篮球运动能够不断地增
巷道围岩岩体质量影响着矿山巷道工程的稳定性及安全性,构造应力集中区域岩体质量情况更为复杂。山东沂南金矿金场矿区巷道变形及支护破坏严重,受构造应力集中影响较大,需进一步研究巷道围岩岩体稳定性。本文以金场矿区典型巷道为研究对象,采用现场观测、理论分析、室内试验、数值模拟等方法,对适用于构造应力集中区域的巷道围岩稳定性评价方法进行了研究。本文通过工程地质调查查明了矿山典型巷道岩性分布范围、围岩完整性、岩
随着汽车保有量的逐年上升,国内各整车企业的竞争日益激烈,市场争夺由一线城市向三四线城市转移,合资品牌和自主品牌不得不通过追求更低成本和更高品质的产品来获得竞争优势,
钢板-混凝土组合连续梁在桥梁建设中应用广泛。然而,火灾高温严重威胁钢板-混凝土组合连续梁的安全性能和耐久性能,甚至造成结构垮塌和人员伤亡,导致重大的经济损失以及不良的社会影响。所以,火灾后钢板-混凝土组合连续梁的极限承载能力研究至关重要。国内外学者关于桥梁火灾的研究主要集中在火灾过程中的结构响应分析,火灾后桥梁状态的研究基本上以外观检测和维修加固方法的分析为主,然而,对不同火灾场景后桥梁承载能力衰
突发性耳聋在耳鼻咽喉科比较常见,一般通过病史及临床听力学检测结果不难诊断,但同时伴有急性鼓膜炎的病人易出现漏诊,误诊,应引起注意。2011年6月我科曾遇1例,报道如下:临床
会议
化学气相沉积(Chemical vapor deposition,CVD)金刚石膜优异的物理化学性能使其在高新技术领域具有广阔的应用前景。目前,对于高质量金刚石膜的研究主要是利用微波等离子体化学
近年来,光催化作为一种新兴绿色环保的催化氧化技术受到了国内外研究人员的广泛关注。光催化技术的核心是催化剂问题。半导体二氧化钛(TiO2)因其具有无毒、稳定和低成本等特点
本文首先分析了国内养老金三支柱的发展情况:一支柱国家养老金承担了过多的基本养老责任;二支柱企业年金则发展停滞,对居民养老贡献较小;三支柱个人养老金体系刚刚起步,在产
二十一世纪以来随着中国经济的高速腾飞和人民生活质量的急速攀升,全国各地的基础设施建设进入了“高速时代”。2004年1月21日,中国国务院审议通过《中长期铁路网规划》,规划建设“四横四纵”客运专线,此后中国的铁路建设取得了长足的跨越式发展,至2019年底,中国高速铁路营业总里程达到3.5万千米,居世界第一。在中国铁路建设的大力发展时期,越来越多的新建铁路桥梁需经过河道、河口和洪水蓄滞区等防洪区域。为