【摘 要】
：
针对Word2vec等静态词向量模型对于每个词只有唯一的词向量表示,无法学习在不同上下文中的词汇多义性问题,提出一种基于动态词向量和注意力机制的文本情感分类方法。在大型语料库上利用深度双向语言模型预训练通用词向量;在情感分类任务的训练语料上对向量模型进行微调,得到最终的上下文相关的动态词向量作为输入特征;搭建双向长短期记忆网络模型,并引入注意力机制以提高特征提取的准确性。实验结果表明,该方法在IM
【基金项目】
：
国家自然科学基金项目(61373116),陕西省自然科学基金项目(2016JM6085)。
论文部分内容阅读
针对Word2vec等静态词向量模型对于每个词只有唯一的词向量表示,无法学习在不同上下文中的词汇多义性问题,提出一种基于动态词向量和注意力机制的文本情感分类方法。在大型语料库上利用深度双向语言模型预训练通用词向量;在情感分类任务的训练语料上对向量模型进行微调,得到最终的上下文相关的动态词向量作为输入特征;搭建双向长短期记忆网络模型,并引入注意力机制以提高特征提取的准确性。实验结果表明,该方法在IMDB和Yelp13数据集上的分类准确率分别提高了0.017和0.011。
其他文献
网络设备分类的前提是要对流量数据进行正确的预处理。现有预处理方法大多利用编程语言开发出小型工具类软件,应用范围较窄不具有推广性,无法满足一些特定的处理需求且源码不公开。对此,提出一种通用性的网络流量数据集构造方法,可以快速完成特征提取。并提出一种特征提取库的模块化方法,能够不断完善统计特征。通过在公开的pcap数据集上的实验,证明了该方法能有效解决pcap网络流统计特征的提取,具有很好的实用性和处
为提高负荷预测精度,提出一种基于小波分解的多模型集成短期负荷预测方法。由最大互信息系数(MIC)选出与负荷相关性高的特征候选集;为获得平稳的负荷序列,将小波分解集成到多预测模型中;小波分解后的负荷序列由多种预测模型(最小二乘支持向量回归、长短期记忆循环神经网络和极限梯度提升树)进行训练,这些模型在同一小时内提供不同的预测;在集成过程中采用二次学习来组合各时段预测结果并得到最终输出。真实电网数据实验
在软件定义的物联网中主要通过减轻控制器端的请求负载和增加数据服务器数量来降低网络中数据传输的延迟,但未考虑数据转发平面上的数据传输延迟问题,导致网络整体数据传输延迟。对此,提出一种基于蚁群算法的数据传输方法。在数据转发平面上,对数据流的路径进行动态规划,实现数据流合理均衡分配到可行的多路径上。该方法能够充分利用网络资源,使网络达到负载均衡,避免网络数据传输拥塞,从而降低网络中数据传输的延迟。仿真实
针对传统情感分类模型的分类效果不足,无法准确地捕捉词语之间关系的问题,提出一种基于预训练语言模型词向量融合的GE-BiLSTM(Glove-ELMO-BiLSTM)情感分析模型。通过预训练语言模型ELMO以语言模型为目的训练词向量,再与传统的Glove模型的训练结果进行运算融合,结合了全局信息以及局部上下文信息,增加了词向量矩阵的稠密度,词语之间的特征得到更好的表达,结合BiLSTM神经网络可以更
传统模型在锂电池充电剩余时间预测中的泛化能力受到一定约束。针对此问题,提出一种基于独立长短期记忆循环神经网络(IndyLSTM)的锂电池充电剩余时间预测方法。通过对锂电池充电过程数据的分析,利用IndyLSTM在处理序列化数据时可以长期记忆历史数据的优势,对充电剩余时间进行预测。采用美国国家航空航天局(NASA)公开的电池数据,与常规的LSTM和SVR模型进行实验对比,IndyLSTM预测结果在准
摘 要 小组合作学习是幼儿学习的重要形式之一，对幼儿的个体成长、学习发展有着重要的促进作用。在幼儿美术教学课堂上引入小组合作学习实施教育活动，能够深化美术课堂的教育价值，更能够实现多样化的美术教学，让幼儿的综合能力得到更有效的提升。 关键词 幼儿园;美术活动;小组合作学习;策略 中图分类号：G612 文献标识码：A 文章编号：1002-7661（2019）16-0048-01 在《幼儿园教育
针对传统文本分类过程中词表示特征时不够全面、可解释性差的问题,提出一种基于词和事件主题的W-E CNN文本分类方法,并给出基于BTM的事件主题模型。将传统基于词的特征表示方法与事件主题特征表示方法进行拼接作为CNN的输入,丰富特征语义信息,提高了文本分类的准确性。实验分析可知,该方法的分类准确性在一定程度上要优于其他方法。
3D点云数据是一种不规则性数据,传统卷积神经网络无法直接对3D点云数据进行处理。对此,提出一种基于多尺度动态图卷积网络的3D点云分类模型。利用最远点采样方法采样3D点云数据集的代表点,降低模型计算复杂度;利用不同尺度的k最邻近节点聚合方式,对图中每一个中心节点的k最邻近节点进行定位;利用边卷积操作对中心节点及其邻接节点的局部属性特征进行提取与聚合用于分类。实验表明,该模型在3D点云分类准确度上,达
在标题自动生成任务中,BiLSTM表示文本是随着时间循环递归对每个单词进行编码,需要逐字读取单词序列,语义信息会随着状态的传递不断减弱。对此,构建一个句子级LSTM的编码器,并行对文本中每个单词编码表示。循环步骤同时对单词之间的局部状态和整体文本的全局状态进行信息交换,编码得到语义表示后使用混合指针网络的解码器生成标题。在相关数据集上进行实验,结果验证了该模型在标题生成任务上的有效性。