一种基于字和子串联合标注的汉语分词方法

来源 :山西大学学报:自然科学版 | 被引量 : 0次 | 上传用户:yangjianglong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.
其他文献
【正】 任何关注80年代台湾文学的人,都不会忽略这一个名字——黄凡。这不仅因为他是一个严肃、多产的年轻作家,更主要的,是他常能道人之所未道,触及社会敏感问题,以自己独到
指出了森林火灾因危害性大而又难以扑救,成为森林三大自然灾害之首。建设生物防火林带,是减少森林火灾、保护动植物资源和人类生命及财产安全的重要举措。阐述了油茶生物学特性
从1987年秋季开始,我们承担了湖北省教研室下达的“农村小学怎样开好自然课”的专题实验任务。四年多来,我们根据农村小学实际,充分利用当地有利自然环境,积极创造条件,摸索
5月6日15时10分,我国在酒泉卫星发射中心用“长征二号丁”运载火箭,成功发射“天绘一号02星”,卫星顺利进入预定轨道。  这是火箭升空瞬间  “天绘一号02星”由中国航天科技集团公司所属航天东方红卫星有限公司研制,主要用于科学研究、国土资源普查、地图测绘等诸多领域的科学试验任务。卫星获取的遥感信息和试验结果,将对我国科学研究和国民经济建设起到积极作用。  “长征二号丁”运载火箭由中国航天科技集团
目的:观察胃泌素释放肽(GRP)DNA疫苗对EMT6小鼠乳腺癌生长的抑制作用。方法:将构建的GRP DNA疫苗pCR3.1-VS-HSP65-TP-GRP6-M2肌肉注射免疫BALB/c雌性小鼠,2周1次,共5次。采用ELIS
昆虫的种类很多,分布范围极广,各种昆虫有它们不同的习性、不同的栖息和繁殖场所,所以在采集时,根据采集的对象,选择一定的环境,应用适当的方法进行采集。 1、空中昆虫的采集
学习环境的优劣对一名中小学生的学习有着极其重要的影响.而农村中小学生的家长受自身素质,时间、精力等限制,对孩子的监管较城市的家长要松得多,因此农村中小学生的学习环境对其
研究课这个栏目,我们有两点考虑:其一,在选择作为研究资料发表的教学实录时,希望这个课既有明显的优点,又有某些不足。优点启发我们在具体的教学活动中落实大纲精神;缺点具有
九年义务教育六年制自然第三册第9课《各种各样的茎》,课文练习图上画有6种植物茎的生长形态,要求学生按生态特征分类填表。从图上看,西瓜的茎像是匍匐生长的样子。人教社出
中国大洋协会成立20周年十大事件评选结果日前揭晓。  此次评选活动自2011年9月正式启动,评审专家在综合网友投票的基础上,以投票的形式最终确定了十大事件入围名单。以下为最终评选出的十大事件:  1.中国大洋协会成立并登记为国际海底先驱投资者  1991年4月,经国务院批准,中国大洋协会宣告成立。这是中国适应国际海底区域新的形势和发展要求,为在国际海底区域活动争得先机作出的战略性抉择。国家赋予中国