面向句子分类的深度表示学习技术研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:a75838928
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
构建高质量的句子表示是句子分类获得更好性能的基础。传统基于高维向量的句子表示方法存在数据稀疏问题。近年来,基于深度学习技术构建的句子低维连续向量表示可有效缓解传统方法的问题,但还存在着一些重要的问题。其一,目前的方法只为每个句子学习单个表示,并基于该单表示进行分类。其二,目前的方法大多只利用句子的类别标签,而忽略了句子之间的结构关系。其三,目前的方法大多仅针对句子分类本身来优化表示,而对利用辅助任务促进句子表示学习的研究很少。本文针对上述问题,在现有研究工作的基础上开展面向句子分类的深度表示学习技术研究,主要工作和贡献包括:提出了一个基于差异化自注意的表示学习模型,通过注意力的转移为单个句子生成两份差异化的表示。该模型由一个共享记忆器、两个结构相同但参数不同的自注意子分类器以及一个样本判别器构成。基于提出的差异化损失函数,模型在训练的过程中可以使两个自注意子分类器分别关注句子不同部位的关键信息,从而基于两份有差异的句子表示分别进行分类。然后由样本判别器选择其中能获得最佳分类性能的预测结果。四个公开数据集以及一个本文提出的数据集上的实验结果均表明,相比于已有的基于自注意的分类模型以及基于组合语义的分类模型,本文提出的模型具有更优的句子分类性能,并能捕获句子中不同的重要信息。提出了一种基于距离约束的多样本表示学习方法,融合了样本间的结构关系进行句子表示学习。提出绝对和相对两种距离度量损失函数来约束表示空间中的句子结构关系,即在表示空间中:类间的句子距离更远,使得不同类别的句子之间具有更大的间隔;而类内的句子形成聚类结构,使得即使类别相同的句子也保持合理的类内差异。两种距离度量损失函数均能直接结合到现有的基于Softmax分类器的深度表示学习模型中,与分类损失函数一起优化句子的表示。四个公开数据集上的实验结果均表明,该方法能稳定地提升常见的多种Softmax分类模型的分类正确率,并能捕获到句子样本空间中的聚类结构。提出了一组基于层次长短期记忆网络的联合表示学习模型,联合建模句子分类任务以及其他相关联的辅助任务。该组模型均由一个双层的长短期记忆网络构成,上层的长短期记忆网络用于句子分类,底层的长短期记忆网络用于辅助的序列标注任务。在训练优化时,句子的表示学习过程同时被两个任务的标签信息所监督。两种监督信息由一个超参数来平衡。两个公开的意图识别及槽填充联合任务数据集上的实验结果均表明,该组模型能充分地利用辅助任务提供的信息,提升了句子分类的正确率。设计并实现了一个基于深度表示学习方法的句子情感极性分类演示系统。基于上述差异化自注意的表示学习方法以及距离约束的多样本表示学习方法,该系统具备两个功能:1)对于输入句子,返回分类模型给出的情感分析结果;2)利用丰富的可视化展示分类模型内部处理过程产生的一些中间结果。
其他文献
近年来由多重耐药革兰阴性细菌引起的医院获得性肺炎(HAP)的发病率显著升高,而抗生素治疗的选择越来越有限,严重威胁人类健康.黏菌素对大多数革兰阴性菌具有杀灭作用,是目前治疗由多重耐药革兰阴性细菌引起的HAP的重要手段.随着黏菌素在囊性纤维化和支气管扩张中作用的明确,雾化黏菌素因具有优化治疗的潜力而引起高度关注,但雾化黏菌素给药策略的实施有赖于对其药动学和不良反应的进一步认识.未来雾化黏菌素将成临床医师治疗HAP的重要选择.
非哺乳期乳腺炎(NPM)是一种发生于女性非哺乳期且以突发性乳腺肿块、脓肿形成、继发窦道以及溃疡等为特征的慢性乳腺炎症.近年来NPM的发病率逐年升高,但其具体发病机制目前尚未明确.棒状杆菌感染可能是导致NPM发生的重要病原体,但目前对于NPM的细菌检测仍局限于根据培养特性、生化反应进行鉴定,缺乏系统性研究.目前,病理检查仍是诊断及鉴别诊断NPM的金标准,临床NPM的治疗主要采用以手术治疗为主的综合治疗方式.未来深入研究棒状杆菌感染与NPM的关系可以为临床诊治NPM提供新思路.
维生素D是一组脂溶性分子,也是机体维持钙磷平衡的重要有机物质,对改善高血压具有积极意义.维生素D主要通过影响肾素-血管紧张素-醛固酮系统、调节内皮与血管壁的功能、减少血管炎症反应及影响胰岛素敏感性等机制发挥作用.补充维生素D可有效改善高血压或合并认知功能障碍老年高血压患者的症状,由于老年患者对维生素D的敏感性存在差异,故应选择个体化给药方案.此外,需增加多中心、大样本的临床试验,以为临床治疗提供参考.
近年来,随着多步攻击向精细化、智能化方向发展,网络安全形势越发严峻,传统的多步攻击检测和防御体系正面临着新的挑战。随着大数据技术的应用,数据价值不断增长,数据泄露事件呈上升态势,因此,研究能够适应新形势的多步攻击检测和防御技术具有重要意义。本文针对现有技术在多步攻击检测各个阶段的不足展开研究,分别从告警预处理阶段、入侵会话验证阶段、入侵场景构建阶段提出一系列解决方法,使多步攻击检测技术更加适应流数
多目标优化问题往往需要同时考虑若干个相互冲突的目标。大多数情况下,某个目标的改善可能引起其它目标性能的降低,同时使多个目标均达到最优是不可能的,只能在各目标之间进行协调权衡和折中处理,使所有目标尽可能达到最优。如何获取这类问题的最优解,一直都是学术界和工业界关注的焦点问题。演化算法是模拟自然界生物的进化过程产生的一种基于种群的随机优化算法。利用演化算法解决多目标优化问题具有独特的优势:可以解决大规
甲基苯丙胺是一种具有极强依赖性的中枢性兴奋剂,长期滥用会产生严重的神经毒性作用.甲基苯丙胺是我国滥用人数最多的毒品,已成为危害社会稳定的严重公共卫生问题.凋亡是多细胞生物体维持机体稳定的一个非常重要的过程.甲基苯丙胺可以诱导神经细胞发生凋亡,对人体产生极大的影响,但具体机制目前尚不清楚.对甲基苯丙胺诱导神经细胞凋亡的蛋白表达、传导通路及调控位点等的研究,为探讨甲基苯丙胺诱导神经细胞凋亡的相关机制提供了理论依据.
食管静脉曲张是肝病患者常见的严重并发症之一.内镜检查是食管静脉曲张诊断的金标准,但因其为侵入性检查且价格昂贵,患者依从性不高.近年来,无创性影像学技术成为诊断食管静脉曲张的研究热点.其中,常规超声检查方便快捷,易于开展;超声弹性成像技术可直接获取肝、脾的硬度信息,从而间接反映门静脉高压的相关情况;CT与磁共振成像可为临床医师提供食管静脉曲张患者门静脉侧支循环较全面的信息.各项检查联合应用则更有利于早期识别、诊断食管静脉曲张,使患者早期获益.因此,无创性影像学检查作为食管静脉曲张的诊断方法具有广阔的应用前景
传统封闭式的网络设备阻碍了网络创新技术的发展,增加了网络优化的难度。软件定义网络(Software Defined Network,SDN)是一种控制与转发相分离的网络架构,控制平面通过集中式的方式提供开放统一的接口,实现灵活的可编程能力,简化了网络的管理,提升了网络的灵活性。由于SDN具有细粒度流管控、控制平面与数据平面分离、逻辑集中控制的特征,使其应用于大规模网络时面临着可扩展性问题。如何利用
目的 观察棘突悬吊式椎管扩大成形术治疗K线阴性颈椎后纵韧带骨化症(OPLL)的远期疗效.方法 回顾性分析2014年1月至2016年12月在哈尔滨医科大学附属第二医院脊柱外科接受颈后路棘突悬吊式椎管扩大成形术治疗的101例颈椎后纵韧带骨化患者的临床资料,根据术前侧位X线片分为K线阴性组(36例)和K线阳性组(65例).测量术前及末次随访时颈椎曲度指标[Cobb角、C2~C7矢状面轴向距离(SVA)、T1倾斜角]、C2~C7脊髓矢径和椎管矢径.记录术前及末次随访时日本矫形外科协会(JOA)评分.结果 ①术前与
超声靶向破坏技术(UTMD)作为一门新兴交叉学科技术具有微创、精准、便捷、重复性高等优势,在超声分子影像技术中发挥了独特的作用.微泡作为UTMD技术核心,不仅具有超声分子成像作用,还能利用微泡壳或核来荷载药物、基因等治疗物质,借助超声与微泡之间的相互作用,达到靶向递送与定点释放,从而实现靶向治疗的目的.当前研究主要集中在药物递送、基因递送、细胞递送与开放血脑屏障等方式,且在肿瘤、心血管及中枢神经系统疾病中取得了长足的进展.随着精准医疗的概念被提出,研发兼具精准诊断、靶向治疗及安全高效的UTMD技术将成为超