基于遗忘机制的卷积神经网络句子情感分类方法研究

来源 :东北师范大学 | 被引量 : 0次 | 上传用户:zaifasoftware
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络已被广泛应用于自然语言处理领域。句子情感分类是自然语言处理领域中最常见的任务之一。国内外学者在句子情感分类任务中,利用深度学习神经网络进行了大量的实验,证明其能够更有效地获取文本数据中的上下文信息。目前,应用于处理句子情感分类任务的神经网络模型通常包括卷积神经网络、递归神经网络和循环神经网络。随着深度学习的发展,神经网络与注意力结合的架构方式为句子情感分类任务的发展带来了重大的突破,预测准确率大幅提升。常用的神经网络都具有各自的优势,比如卷积神经网络具有很好的并行性,能够使运算速率达到很高的水平,而递归神经网络尤其是长短期记忆网络是在提取长距离单词之间的依赖关系时达到很好的效果。但这些神经网络仍都存在问题:(1)递归神经网络受其递归性的限制计算效率不能达到较好的水平;(2)卷积神经网络受其卷积核大小的限制很难捕获长距离句子单词间的依赖关系。因此,能否有一种网络结构可以将网络模型的优势有效地结合在一起,达到更好的性能,是本文主要的研究目的。本文提出了一种新的句子情感分类方法,基于遗忘机制的卷积神经网络句子情感分类方法,将其命名为L-CNN。该方法结合了卷积神经网络以及长短期记忆网络的优势,弥补了两种网络存在的不足,采用加入长短期记忆网络中的遗忘门机制以及自注意力机制的卷积神经网络结构,设计基于卷积神经网络的具有局部上下文层和全局上下文层的结构,使得以卷积为基础的神经网络在捕获句子长距离依赖关系时获得更好的效果。本文在四个英文文本数据集上进行实验,分别是IMDB、SST-2、Subj、MR数据集。同时在与多种其它分类模型方法进行比较时,本文选用准确率(Acc)和F1作为评价指标,在这四个数据集上准确率分别提高了1.78%、1.02%、2.14%、2.5%。通过对实验结果的分析,本文在语义并不丰富的训练数据中表现优异,证明该句子情感分类方法可以提供更加丰富的语义信息,通过更加充分的模型训练来提高分类的准确性。在此基础上,本文也通过与传统卷积网络模型的对比,分析了不同的词向量生成方式对于模型分类效果的影响,并证明模型中局部上下文层和全局上下文层对模型的分类具有积极影响。
其他文献
翻译后修饰(PTM)是指在蛋白质生物合成后对蛋白质进行共价修饰,通常是酶修饰。蛋白质翻译后修饰在蛋白质的加工、成熟以及改变蛋白质的物理和化学性质中起着非常重要的作用。蛋白质亚硝基化是一种重要的、可逆的蛋白质翻译后修饰,涉及一系列生物过程。此外,越来越多的人类疾病被发现与亚硝基化异常密切相关。因此,识别和理解亚硝基化对于细胞生物学的研究、疾病治疗十分重要。亚硝基化位点的准确预测不仅有助于揭示亚硝基化
随着在线医疗服务平台的发展,积累了大量的电子健康记录,使得患者可以从丰富的医疗信息资源中获得更好的医疗服务。然而,患者很难从复杂的信息资源中找到最适合医治自己疾病的医生。这些医疗数据中存在许多无法察觉但是又十分重要的联系,所以发现数据中内部关联对于疾病预测及医生推荐问题具有一定的研究价值。有效分析和挖掘电子健康记录对患者及时、准确获得治疗也具有重要意义。传统的医疗诊断方式往往凭借医生的专业知识和实
学位
蛋白质结构预测的研究对了解蛋白质功能、促进蛋白质工程以及药物的研发具有重要意义。而跨膜蛋白则是蛋白质中结构比较特殊的一类蛋白,其通过特殊的跨膜结构穿透磷脂双分子层长期稳定地固定在生物膜上,是生物膜功能的主要承担者。因此,跨膜蛋白结构的研究具有非常重要的生物学和医学意义。根据跨膜区结构的不同,跨膜蛋白可以分为α螺旋和β桶状跨膜蛋白两大类。作为跨膜蛋白中重要一类的α螺旋跨膜蛋白,其结构的研究对于跨膜蛋
RNA与蛋白质的相互作用在许多重要的生物学过程中起着重要的作用。基于新一代测序技术的创新和发展过程,数以百计的RNA结合蛋白(RBP)及其相应的RNA被逐渐发现。通过对其生物学进程的总结和分析,使得在计算生物学方面,利用机器学习的方法对RNA-蛋白质相互作用进行大规模预测成为可能。到目前为止,在计算生物学领域的学者已经在此问题上探究和开发出了多种计算工具和方法,其中就包括深度学习模型,同时也利用基
在“互联网+”时代,随着信息量的不断扩增,人们的兴趣也变得多种多样,如何使人们在巨量的信息中快速准确地找到符合需求的信息就成为当下亟待解决的问题。推荐系统作为一种有效的信息过滤手段被广泛应用于工业界和学术界,因此对推荐系统的研究也成为最热门的课题。大多数推荐方法一般都采用深度学习与协同过滤相结合的方法,在一定程度上提高了推荐的性能,然而这些方法依然存在以下四个问题:(1)不能捕获用户动态变化的兴趣
光学字符识别(Optical Character Recognition,OCR)技术始于上个世纪六十年代中期。深度神经网络出现后,识别对象由印刷体字符发展为自然场景字符,目前基于深度学习的OCR已经成为机器视觉领域中的一个重要研究课题。随着中国制造2025的提出,推动我国的工业面向信息化发展,字符识别技术在工业环境中的应用受到了广泛关注。区别于高分辨率、高清晰度的文档字符图像,复杂的工业环境中字
物联网(Internet of things,IoT)的应用开发前景越发广阔,大量的智能环境可以连接到脑机接口(Brain Computer Interface,BCI)系统上。BCI系统是一种连接人类大脑与外部设备的实时通信系统,直接将大脑产生的信息转换成驱动外部设备的命令,取代人体或言语器官与外部世界进行通信。简而言之,BCI系统可以代替人体大脑周围神经和肌肉组织,实现人与外界环境的沟通。BC
本文研究内容是多维背包问题,多维背包问题的目标是在满足所有维度下的限制条件找出被选择的物品总价值最大的组合,它是NP难的组合优化问题,在计算上具有挑战性并且在生活中应用广泛,多维背包问题广泛存在于货物装载、削减库存、项目选择、资金预算、解决处理器和数据库在分布式计算机系统上的分配问题等方面。因此,求解多维背包问题具有重要的理论指导意义和实际应用价值。本文提出随机采样预处理的方法来求解多维背包问题,
在实际生活和工程实践中,多个待优化目标经常同时出现,大量此类问题采用进化算法来求解,因此多目标进化算法的研究有着重要的理论意义和实践意义,也成为了近些年研究的热点。然而在解决具有较小或非连续可行域的问题中,大多数算法由于不可行域的阻碍无法收敛到Pareto前沿。同时,固定的变异参数使得优秀解和劣质解具有相同的变异概率,无法满足算法在进化过程中对保存优秀解,尽可能地改善劣质解以提高算法收敛性与多样性