基于主题词向量与卷积神经网络的短文本分类研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:hualing_xue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在互联网的高速发展过程中,海量的数据信息在网络中传播与共享,其中文本信息占据着及其重要的位置。对大量的文本进行有效的管理组织变得十分必要。文本分类任务作为处理文本数据最基础的自然语言处理任务之一,具有广泛的应用价值与研究价值。而近年来新闻快讯、即时消息、在线问答等网络应用呈现快速增长的趋势,互联网中的文本数据逐步由长文本向短文本形式转变。面对短文本的分类任务,因为短文的长度短、词语稀疏性以及语义信息不足等特点,传统的长文本特征表示方法与分类模型在短文本分类中效果并不理想。本文针对短文本的分类任务中短文本的特征扩展表示以及基于卷积神经网络的分类模型进行研究,主要工作有如下内容:(1)本文基于主题模型与词向量对短文本的语义进行特征表示,在词向量的基础上研究了一种基于短文本主题模型改进的主题词向量WNTWE模型。(2)本文在主题词向量的训练过程中考虑词向量与主题向量的差别,在词向量的构建过程中分别对其进行训练,增强短文本的局部与全局语义信息表示的准确性。(3)针对短文本数据稀疏性以及上下文语境依赖性强的特点,本文研究一种基于主题词向量与字向量相结合的CNN卷积神经网络的分类模型。分别将主题词向量信息与字向量信息作为卷积神经网络的输入,对短文本的语义信息进行补充,从不同层次学习短文本的特征表示。(4)在卷积神经网络的结构中,对传统的池化层丢失过多特征信息的问题,在短文本的应用中,对池化层引入attention机制对不同卷积核提取的中间特征向量进行权重计算,保留了有用的特征信息并进行权重自学习以提升短文本分类任务的效果。
其他文献
面对百年未有之大变局,各国尤其是大国都在探求世界下一步的发展方向。作为维护和变革现有国际体系的重要力量,新兴大国意图推动全球治理体系变革,而新兴大国合作机制作为国际机制的重要组成部分,日益发挥越来越重要的作用。从现实看,新兴大国合作机制建设一方面继承了国际机制建设理论的内在逻辑,另一方面又展现出与原有国际机制建设理论不同的外在逻辑,即基于主权平等的对称性合作,具有自主自愿的特征,并以伙伴关系为主要
期刊
我国市场经济快速健康发展,医疗管理体制改革不断深入,为我国医疗行业管理服务水平的不断提高打下了良好的基础。在这个过程中,医疗行业的国际市场竞争越来越激烈,医院要想在这个竞争激烈的医疗市场中有立足之地,就需要进一步提高自身的核心竞争力和综合实力。而在医院的经营管理中,医疗后勤安全管理十分重要。在当前的行业发展和市场环境中,医院要想有更好的业务发展,就需要不断提高医疗后勤安全管理效率与后勤管理服务质量
期刊
海洋与大气交界面上的湍流热通量交换是海气相互作用的关键过程,深入认识海表热通量异常的时空分布特征及其与海温异常的关系、揭示海洋与大气之间热通量交换的基本特点,是理解海气相互作用特别是认识海洋作用的基础。本文基于1958-2014年OAFlux的湍流热通量逐日和月平均资料、HadISST月平均海表温度资料和NCDC/NOAAOISST.V2逐日高分辨海温资料,对冬季北太平洋海气热通量异常的时空变化特
学位
人体的多种生理信号可以反映出人体所处的健康状态,是临床诊断、医疗监护的重要参考依据,无线可穿戴医疗监护设备可以让使用者摆脱线缆和空间的束缚,具有较好的应用场景。当检测人体生理信号的种类或测点数比较多时,生理信号监护系统有必要采用多测量节点无线通信的模式,一方面尽早地实现生理信号的数字化,另一方面尽量减少导线的长度和数量,从而保障所测量生理信号的记录质量和监测时人体的舒适度。针对无线多节点生理信号检
学位
长江下游地区河漫滩发育,不同时期形成的河漫滩沉积物,在追溯河流地貌沉积过程和流域人类活动影响下的污染变化方面具有十分重要的意义。为探讨河漫滩沉积对环境污染的指示,本文采用重力浅钻法采集了长江下游镇扬河段两个100cm的河漫滩岩芯沉积物,对样品做了磁化率、粒度、重金属元素和137Cs测年等分析,研究发现:1.河漫滩沉积记录了长江流域的自然灾害和人类活动状况。Z2岩芯沉积物中50~88cm的砂层揭示了
学位
低温降低了生活污水生物脱氮效率,增加了硝化反硝化副产物N2O的产生与排放,导致温室效应加剧。因此,控制低温生物脱氮过程中N2O的排放具有重要意义。磁场-生物强化技术作为一种新兴的污水处理技术逐渐受到关注,磁场强化氮污染物去除效果的研究逐渐增多,但目前关于磁场对活性污泥法处理低温污水过程中N2O减排效果的研究报道较少,且缺乏磁场控制N2O产生的微生物学机制研究。因此,本论文分别采用不同强度及不同作用
学位
微塑料是指直径小于5 mm的塑料颗粒,已在环境和生物体中广泛检出。生物体中检出的微塑料形状多种多样,且主要富集在生物体的胃肠道。研究表明形状是影响颗粒物富集和毒性效应的重要指标,因而微塑料的形状可能会影响其在生物肠道中的富集与毒性效应,但目前尚缺乏系统深入的研究。基于以上背景,本研究制备了不同形状(球状、颗粒状和纤维状)尺寸相近的荧光标记和非标记的微塑料作为目标污染物,以成年斑马鱼为模式生物,进行
学位
我国的经济国际化战略实施过程中需要对政府商务部门海外经贸机构进行绩效管理和绩效评估。江苏省商务厅海外经贸机构通过二十多年的建设,已经取得了很大的成就。江苏省商务厅海外经贸机构绩效评估工作已经取得了一定的成效。但是还存在一些问题,主要表现在以下几个方面:一是评估环境待改善;二是评估标准难界定;三是评估方法不科学;四是评估目标不明确。在绩效管理过程中,各种绩效评估理论模型之间并不互相排斥,而是具有互补
学位
肿瘤是指在各种致癌因素作用下,机体细胞的基因发生突变,丧失了调控正常增殖的能力,导致其发生克隆性的异常增殖而形成的新生物。肿瘤的发生发展乃至后期的转移的过程极为复杂,是多种因素共同作用的结果。肿瘤组织具有异质性,这是由肿瘤细胞本身基因调控的失衡发起的,多种免疫细胞、基质细胞、细胞因子、趋化因子等卷入其中的过程。肿瘤诱导的多种免疫细胞失调所造成的免疫抑制环境是机体失去对肿瘤正常控制的根本原因。因此,
学位
近年来,肺癌成为世界死亡率最高的恶性肿瘤之一,而其中非小细胞肺癌发病率(non-small cell lung cancer,NSCLC)占肺癌总数的85%。铂类药物是临床上治疗肺癌的一线用药,然而耐药问题严重制约着铂类药物的治疗效果,影响着患者的生活质量。到目前为止,耐药机制尚未完全诠释。外泌体作为一种新的细胞间交流方式,能够包裹和递送microRNA(miRNA)至受体细胞,从而实现细胞间的信
学位