基于规则和N-Gram算法的新词识别研究

来源 :现代电子技术 | 被引量 : 0次 | 上传用户:tszhzhc159
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前的分词工具分词后会出现很多单字碎片,分词之后意义与原意相差甚远。同时因为新词的构词规则具有自由度大的特点,当前分词方法不能有效识别网络中的新词。在ICTCLAS2016分词系统的基础上,结合新词结构制定规则构建碎片库,利用Bi-gram和Tri-gram模式提取碎片库中的候选字串,再采用左右邻接熵进行扩展及过滤,最后提出基于规则和N-Gram算法的新词识别方法。结果表明使用该方法的分词效果准确率、召回率和F值都有所提高。实验结果表明,该新词识别方法能有效构造候选新词集合,提高中文分词效果。
其他文献
编者按:    能够拥有一套属于自己的房子是许多百姓的心愿,也是很多人一生努力奋斗的目标。在住房方面从建国后到20世纪70年代,国家一直实行高度的计划经济体制,城镇住房由政府和企业直接投资,属国家或集体所有,职工住房实行低租金、高补贴为特征的实物分配制。1998年中国住房货币化改革开始,福利分房逐步取消,购买商品房成为城市居民解决住房问题的主要途径。供求关系的变化刺激了全国商品房价格的普遍上涨,尤
Walter Elias Disney(1901-1966)美国动画片制作家、演出主持人和电影制片人,以创作卡通人物米老鼠和唐老鸭闻名,他制作了世界第一部有声动画片“威利汽船》(1928年)和第一部动画长
根据生长周期的不同,叶片可以呈现出不同的颜色,既是白菜又是花,这是山东省胶州市大白菜研究所白菜种植基地的“观赏白菜”。这种白菜除了具备普通白菜的营养品质口感外,在生长的
对单户应收账款质量评价因素进行分析,并论述单户应收账款质量评价模型的构建,对单户应收账款质量评价结论进行判断,最后提出单户应收账款评价方法的局限性及改进措施。
德国可以说是镁产业的发源地,镁产业的多数关键技术突破都是在德国实现的,包括原镁冶炼技术、镁合金压铸技术等。作为镁产业发展的先进国家,德国镁产业的发展模式可以概括为“以
是故列贵贱者存乎位,齐小大者存乎卦,辩吉凶者存乎辞,忧悔吝者存乎介,震无咎者存乎悔。是故卦有小大,辞有险易;辞也者,各指其所之。  “列贵贱者存乎位”,《易经》中多次谈到时、位的问题,尤其是从卦的本体而言,爻“位”是影响卦异的主要因素,位在上还是位在下就有贵、贱之分。在研读《易经》的时候能够感知这一点,在现实生活中更能体会到这一点,比如待人接物、比如经营交易等等。我们常说,待人要“不卑不亢”,而做
目的:探讨耳穴埋豆联合情志护理对强直性脊柱炎急性期患者疼痛的影响。方法:将80例强直性脊柱炎急性期患者随机分为治疗组和对照组,每组40例。2组患者在入院后均给予常规治疗
采用水热法合成SnO2-TiO2异质结纳米棒光催化剂,该材料具有独特的纳米棒和异质结结构,可有效阻止光生电子和空穴的复合,通过光电流、X射线光电子能谱(XPS)、X射线衍射(XRD)、
随着时代的发展,“团队”在企业中扮演越来越重要的作用,对于组织整体而言,它是业务突击队、资源整合者与价值创造者;对于个人而言,它是力量与智慧的象征,凝聚着团队成员共同的目标与梦想。  “有团队没能力”是目前中国很多企业面对的很现实的问题。导致的直接后果就是企业人力资本居高不下,而创造的价值却微乎其微。尤其是智力型产业以及竞争较为激烈的高科技含量、高知识附加值产业,越是要走个性化、人性化、以客户为本
很多已经存在的词汇和词组可能会被运用于它们之前从未被运用过的领域文本中,这样的词汇或词组被称为领域新词。领域新词的发现可以为该领域的研究人员提供最新的领域发展动