基于LSTM结合注意力机制的长文本分类优化研究

来源 :互联网周刊 | 被引量 : 0次 | 上传用户:miumiumin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类是指用计算机对文本(或其他实体)按照一定的分类体系或标准进行自动分类标记。伴随着信息的爆炸式增长,人工标注数据已经变得耗时、质量低下,且受到标注人主观意识的影响。因此,利用机器自动化对文本进行标注具有一定的现实意义,将重复且枯燥的文本标注任务交由计算机进行处理能够有效克服以上问题,同时所标注的数据具有一致性、高质量等特点。其应用场景众多,包括:情感分析、主题分类、意图识别等;其分类标签可以是:情感分析(积极、消极、中性)、主题分类(历史、体育、旅游、情感)等。传统的文本分类早期是通过模式词、关键词等,同时结合一些规则策略进行。此方法的缺点很明显,人工成本高,且召回率比较低。此后,使用经典传统的机器学习方法做文本分类任务初显成效,即“特征工程+浅层分类模型”,被称为传统机器学习方法。近些年,伴随深度学习的异军突起,基于深度学习的文本分类方法兴起,本文基于LSTM文本分类,针对LSTM网络结构的缺陷,引入注意力机制Attention,优化文本分类模型,在文本长度较长的情况下,效果尤为显著。
其他文献
报纸
为了提高PM2.5的预测精度,提出了一种基于卷积神经网络(CNN)、改进长短期记忆网络(ILSTM)和注意力机制(Attention)组合预测模型。ILSTM删除了LSTM中的输出门,改进了其输入门和遗忘门,并引入了转换信息模块(CIM)以防止学习过程中的过饱和。该模型将一维卷积神经网络的特征提取和改进长短期记忆网络学习序列依赖性的能力相结合得到过去不同时间特征状态对未来PM2.5浓度的影响,可以
传统的审计报告形式虽意见明确、表述直观简洁,但这种“二元式”的标准审计报告通常如出一辙、信息披露缺乏个性化,不能满足用户的决策需要。为维护资本市场的健康运作,2016年底,财政部颁布了“1504号审计准则”。要求在审计报告中增设关键审计事项,其中“A+H”股上市公司于2017年初起率先执行,其他上市实体于2018年初开始全面执行。准则修订的重要作用是提高审计工作的透明度,提升报告的信息含量,使之呈
随着我国社会经济的不断发展,企业及社会对应用型人才的需求不断增加。在这一背景下高职院校迅速发展,并积极转变教学观念,注重学生专业能力的提升,因此高职教育创新教学模式,就要不断更新教学理念,注重学生的主体地位,培养学生的自主学习能力。结合多年工作经验,阐述教学理念的内涵,同时分析现阶段我国高职教育教学理念的现状,说明更新教学理念是高职教育创新教学模式的关键。
<正>近日,中共中央办公厅印发了《推进领导干部能上能下规定》(以下简称《规定》),《规定》吸收了全面从严治党的新鲜经验,健全能上能下的选人用人机制,对于推动形成能者上、优者奖、庸者下、劣者汰的用人导向和从政环境,建设忠诚干净担当的高素质执政骨干队伍,都具有十分重要的意义。“能上能下”是人才流动的正常规律,也应成为干部选拔任用的重要原则。党的十八大以来,以习近平同志为核心的党中央深入推进全面从严管党
期刊
针对小尺度衰落信道下调制信号识别率低的问题,提出一种基于多注意力机制网络的调制识别算法。提取信号瞬时幅度/相位特征与同相/正交序列构建双通道输入方式,实现多尺度感受野。通过残差密集块提取双通道数据的频域特征,将特征向量融合后送入双向门控循环单元提取时域信息,引入改进卷积注意力机制模块和软注意力机制捕捉信号的关键特征,构建多注意力机制网络对BPSK、QPSK、8PSK、16PSK、PAM4、GMSK
医疗产品侵权责任案件举证责任的相关问题,由于各方主体适用法律时对相关规定理解不一致,导致类案判决结果呈现不同的走向。因医疗产品责任适用无过错责任归责原则,对于医疗产品没有缺陷或缺陷与患方损害无因果关系的免责事由,举证责任应由医方或生产者承担。另外,对鉴定结果的过度依赖是当前医疗诉讼的突出特征,应在司法鉴定这一事实认定与法律判断之间取得平衡,在无法进行司法鉴定时这点尤为重要。
为了提升催化剂的低温脱硝性能,利用挤出成型法制备了一系列氮掺杂钒钛蜂窝式催化剂,考察了氮掺杂量对催化剂低温脱硝性能的影响及其稳定性,并通过XRD、BET、SEM、XPS、H2-TPR、NH3-TPD和O2-TPD等分析方法表征催化剂。结果表明:氮掺杂钒钛催化剂的低温脱硝性能显著提高,在140~200℃温度区间催化剂的脱硝性能良好,其中以氮钛摩尔比为0.2的催化剂具有最优的脱硝效果,并在200℃连续
网络舆情的传播力、影响力与日俱增,且受到众多因素的影响,呈现出时序性、非线性、多维度等特征。于是分析不同因素的影响,对有效预测舆情的发展趋势具有重要的现实意义。通过引入注意力机制,确定不同因素的影响程度,进一步构建出融合注意力机制的LSTM网络舆情预测模型,选取“亚硝酸盐中毒”舆情事件进行实证分析。实验表明,构建的模型可以有效分析和预测舆情的发展趋势,提高了预测的准确度,为网络舆情趋势预测研究提供