【摘 要】
:
基于深度学习的文本分类是一项非常依赖标记数据的有监督学习任务,高质量大规模的标记数据集通常很难获得,人工标记数据的成本过于高昂。针对这一现象,本论文研究了使用深度迁移学习技术解决这一问题的可行性和适用性,通过利用未标记数据和相关领域的标记数据,降低对目标领域标记数据的依赖程度。在基于任务的迁移和基于领域的迁移两个方面对LSTM文本分类模型(Long Short Term Memory Based
论文部分内容阅读
基于深度学习的文本分类是一项非常依赖标记数据的有监督学习任务,高质量大规模的标记数据集通常很难获得,人工标记数据的成本过于高昂。针对这一现象,本论文研究了使用深度迁移学习技术解决这一问题的可行性和适用性,通过利用未标记数据和相关领域的标记数据,降低对目标领域标记数据的依赖程度。在基于任务的迁移和基于领域的迁移两个方面对LSTM文本分类模型(Long Short Term Memory Based Classification Model)提出了改进与创新,本文主要研究工作如下:(1)对LSTM文本分类模型和深度迁移学习技术进行了介绍。在基于任务的深度迁移方面,分析了SA自编码器(Seq2seq Autoencoder)的结构及其作为源任务的深度迁移方法。在基于领域的深度迁移方面,对传统跨领域迁移学习方法进行了研究。(2)针对SA自编码器捕捉文本表示特征能力较弱的问题,本文将对抗训练引入SA自编码器,使其能够在无监督状态下,从被对抗扰动破坏的输入中重构原文,不再是对输入文本的简单复制。此外,本文使用Bi-LSTM网络构造编码器,使其能够根据前后文的双向信息进行语义编码,并使编码结果参与每一次解码过程。本论文将此结构的自编码器命名为AdvSA自编码器(Adversarial Seq2seq Autoencoder),此外为减轻解码器预测词汇的计算负担,使用重要性采样的方法构建解码器词汇表。实验结果表明,以AdvSA自编码器作为源任务的LSTM文本分类模型在公开数据集IMDB上分类正确率达到了92.98%,在Rotten Tomatoes上的正确率达到了82.57%。(3)为进一步降低文本分类模型对标记数据的依赖程度,提出了基于领域深度迁移的AM-AdpLSTM文本分类模型(Attention Mechanism Based Adaptive LSTM Classification Model),该模型在相关领域学习分类准则并将其迁移至目标领域。通过深度网络自适应克服了由于源领域与目标领域之间的数据分布差异而带来的迁移损失,因此即使数据分布发生变化也无需重构模型。此外,本文利用注意力建立了目标域对源域特征的筛选机制,从而使模型对源域的注意力集中在与目标域相似性更高的部分。在数据集Rotten Tomatoes上,AM-AdpLSTM模型的分类正确率比LSTM模型高7.24%,且随着目标领域有标记数据的减少,AM-AdpLSTM模型的优势越显著。
其他文献
金属有机骨架材料(MOFs)是通过有机配体和金属离子以自组装的方式所形成的,具有高比表面积、高孔隙率和功能多样性等特点的周期性网格状结构的晶体材料,在吸附、传感和催化等
目的探讨七氟烷预处理对中老年患者腹腔镜下胆囊切除术后认知功能及谵妄的影响。方法收集2018年8月1日至2019年2月1日于江西省人民医院需要进行腹腔镜下胆囊切除的中老年患者57例。随机将患者分为A组(对照组)和B组(实验组),A组在患者入手术室后面罩吸氧5min后进行静脉麻醉诱导气管插管,B组入手术室后给予七氟烷预处理5min,待患者轻呼无反应、监测BIS值维持在65-80时,停止七氟烷吸入,面罩
针对道路场景下三维激光点云语义分割精度低的问题,提出了一种基于卷积神经网络并几何点云多特征的端到端语义分割方法。首先,通过球面投影,构造出点云距离、相邻夹角及表面
传动轴突缘叉耳孔中心高尺寸,对十字轴总烧蚀失效有很大影响,通过降低中心尺寸,减小弯矩对突缘叉两耳的作用,保证了两耳孔轴线的同轴度,保证了十字轴总成滚针轴承的径向间隙,降
随着一带一路的发展,中国贸易市场趋向于复杂化、激烈化,如何在世界经济高速发展的大背景下提高企业的核心竞争力,实现可持续发展,内部管理显得尤为重要,其中的财务管理牵涉
从理论上阐明了冲压外圈滚针轴承压入环规或装人轴承座中内复回直径的变化情况。考虑到冲压外圈的渗碳层以及椭圆度.找出了过盈量与内复回直径变化量之间的关系.并提出了冲压外
近年来,随着世界粮食危机的到来,马铃薯作为世界第四大粮食作物,在政府大力发展优势特色产业的政策扶持下,我国马铃薯种植面积不断扩大。淀粉加工企业也迅速增加,马铃薯产业已成为
微生物絮凝剂是由微生物产生并分泌到细胞外且具有絮凝活性的代谢产物,其主要化学成分为多糖、蛋白质等,因具有高絮凝性、无毒、无二次污染等优点而受到国内外研究者广泛关注
近年来,人脸表情识别领域的研究已经变得非常热门,该领域已成为创建社会智能系统的一个非常活跃的部分。表情识别比其他生物识别技术(虹膜识别、指纹识别等)发展慢,应用也并不广泛。但是,在人机交互领域,表情识别占有非常重要的意义。因此,表情识别方面的研究已成为了国内外众多学者和专家关注的焦点,研究也取得了一定的成果。心理学研究指出,眼睛和周围区域的动态特征与情绪波动高度相关,眼睛及周围区域随着表情的波动会
俗话说“春困夏乏秋打盹”,炎热的中午,似乎只有睡上一觉才能补足精神。然而,事实往往是这样的:午觉后不但没醒神,精神反而越来越不振。记者在咨询了相关专家后了解到,健康午睡有