基于新词发现的跨领域中文分词方法

来源 :电子与信息学报 | 被引量 : 0次 | 上传用户:wy2633110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络(DNN)是目前中文分词的主流方法,但将针对某一领域训练的网络模型用于其他领域时,会因存在跨领域的未登录词(OOV)和表达鸿沟而造成性能显著下降,而在实际中对所有未知领域的训练语料进行人工标注和训练模型并不可行。为了解决这个问题,该文构建了一个基于新词发现的跨领域中文分词系统,可以自动完成从目标领域语料中提取新词、标注语料和训练网络模型的工作。此外,针对现有新词发现算法提取出的词表垃圾词串多以及自动标注语料中存在噪声样本的问题,提出了一种基于向量增强互信息和加权邻接熵的无监督新词发现算法以及一种基于对抗式训练的中文分词模型。实验中将使用北大开源新闻语料训练的网络模型提取出的特征迁移到医疗、发明专利和小说领域,结果表明该文所提方法在未登录词率、准确率、召回率和分词F值方面均优于现有方法。
其他文献
在社会不断发展进步的同时,广大家长的综合素质有了明显提升,都希望幼儿能够享受更好的教学资源,为今后成长与学习打下坚实基础,从客观上加快教育事业改革步伐。与此同时,幼儿园作为学习知识和人格养成的重要场地,对幼儿人生走向具有重要影响。基于此,本文探讨普惠性民办幼儿园课程园本资源在开发与利用过程中存在的问题,并提出针对性地改善建议,希望能够进一步推动学前教育的稳步发展。
该研究对4种树莓(小蜜莓、红莓、掌叶覆盆子、黑莓)样品中的17种氨基酸、12种矿物元素和3种维生素含量进行分析检测,并进行营养评价分析。研究结果表明,4种树莓中谷氨酸和钾含量均为最高,第一限制氨基酸均为蛋氨酸+半胱氨酸,钠、铬、硒和钼的营养质量指数值均小于1,镁、钾、锰、铁、铜、维生素B1、维生素B6的营养质量指数值均大于2;小蜜莓中的总氨基酸、必需氨基酸、非必需氨基酸和维生素B6含量在4种树莓中
<正>设计思路美术活动是幼儿表达内心世界的一种特殊语言,他们把观察到的事物,用绘画的形式展现出来,这便是幼儿眼中的世界。我们以《3~6岁儿童学习与发展指南》精神为指导,依据中班幼儿的年龄及心理特征,将科学元素融入美术活动中,鼓励幼儿在活动中自主探索,基于昆虫形态特征的关键经验,感受、发现、创造,并在活动中积累丰富的绘画经验。材料,支撑着孩子们的自主发现与学习;创
期刊
针对河湖水生态环境污染严重的现状,河湖水生态修复技术因具有绿色环保、无污染、投资少等优点,成为河湖水污染治理中最有前景的技术。阐述了当前我国河湖水污染的现状,分析了河湖水生态修复技术的原理、作用,探究了5种河湖水生态修复技术。
本文是碳中和城市建筑能源系统系列文章的第四篇。在碳中和语境下,无论是增加可再生能源应用的渗透率,还是平抑负荷、提高电网的灵活性,都离不开储能。本文介绍了当今储能技术的主要类型,即电力、电化学、机械、化学和热储能。重点介绍了与建筑和区域能源系统有关的储能技术。提出了用于第5代区域供热供冷系统(能源总线系统)的季节性热储能的概念性方案,并对在能源总线系统规划中如何考量储能应用提出了建议。指出在全球气候
针对河口海湾滨海湿地生态功能退化、岸线岸滩侵蚀及人为影响、河口海域淤塞污染和水体底质环境恶化、陆源污染等环境问题,通过对渤海区域海岸整治修复工程的实践,采用归纳总结分析方法,提出适用于类似工程的海岸生态修复理念、前期工作思路、修复工程措施及预期修复效果。得出如下结论:可以通过拆除构筑物、清淤、潮沟疏通、植被恢复、岸线修复等措施,达到恢复海岸类型、治理污染、修复湿地生态、增强区域水动力环境的目的,进
结直肠癌中约15%患者存在基因组微卫星高度不稳定(MSI-H),最新的美国国立综合癌症网络与中国临床肿瘤学会指南均推荐所有结直肠癌患者都要进行微卫星不稳定(MSI)检测以判断预后,并可以用于林奇综合征的诊断与筛查;早发性结直肠癌患者的MSI-H频率更高,且好发于近端结肠(右半结肠),所以临床上对于年轻的结直肠癌患者,尤其是右半结肠癌患者,更应该重视MSI的检测。MSI-H的结直肠癌患者预后更好,免
近年来以危险品(包括锂电池、一些化学物品,医疗用品等)作为运输对象的航空货物运输愈发频繁。由于运输的对象具有特殊性,一旦发生事故后果不堪设想,所以为了提高航空危险品运输突发事件的应急处置能力,本文根据影响危险品运输应急处置的多个影响因素来对航空危险品运输突发事件的应急处置能力进行评估和研究。首先对航空危险品运输的基本流程进行研究,结合航空公司的应急手册、《中国民用航空危险品运输管理规定》、《AC-
<正>中国的现代化,必然由中国的实际、中国的国情所决定,这是毫无疑义的;同样毫无疑义的是,中国的实际、中国的国情是在不断发展变化的,因此对中国现代化的认识也要不断深化、充实和完善。建设人与自然和谐共生的现代化,就是我们随着实践和时代的发展,对中国现代化的认识丰富和提升的结果。党的十八大以来,生态文明建设在全局中的地位更加突出,“五位一体”总体布局,生态文明建设是其中一位;新时代坚持和发展中国特色社
期刊
原发性高血压是以体循环动脉压增高为主要表现的临床综合征,是一种严重危害人类健康的常见病、多发病。近年来原发性高血压的患病率总体呈增高的趋势,目前降压药已在临床上广泛使用,并取得了肯定的疗效,但也存在的一些不可避免的不良反应。耳针疗法治疗高血压因其疗效确切、简便易行、廉价、不良反应少等优点,在国内外引起广泛研究,取得一定的进展,为高血压防治提供了一种新的非药物治疗方案,现将近年来具体临床研究进展及不