HDP与互信息相结合的中文无指导分词

来源 :中文信息学报 | 被引量 : 0次 | 上传用户:zxj3510
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
该文探讨了无指导条件下的中文分词,这对构建语言无关的健壮分词系统大有裨益.互信息与HDP(Hierarchical Dirichlet Process)是无指导情况下常用的分词模型,该文将两者结合,并改进了采样算法.不考虑标点符号,在两份大小不同的测试语料上获得的F值为0.693与0.741,相比baseline的HDP分别提升了5.8%和3.9%.该文还用该模型进行了半指导分词,实验结果比常用的CRF有指导分词提升了2.6%.
其他文献
在高校教育教学活动中,体育教学是大学生素质形成的重要教学内容,在大学体育教学中,健美操教学受到学生的欢迎。健美操是集合了音乐、舞蹈、体操、美学为一体的一项教学项目,
高校“代理族”是近几年在大学生生活中衍生出来的一种新型兼职形式。它作为联系商家与消费者中间的桥梁,凭借其日益庞大的消费群体和校园便利性受到商家和消费者的青睐,也成为
词义消歧一直是自然语言处理中的热点和难题。集成方法被认为是机器学习研究的四大趋势之一,在系统研究已有集成学习方法在汉语词义消歧中的应用后,借鉴模式识别领域集成分类
随着认知计算的飞速发展,通用知识图谱的自动构建取得了极大的进步,但在垂直领域由于缺乏本体等语义信息,导致进展缓慢。叙词表广泛分布于各个专业领域且蕴藏着丰富的语义信
当前高校普遍面临严峻的就业形势,而思想政治教育对于高校就业指导具有十分重要的意义和作用,因此急需完善高校思想政治教育中的就业导向辅导模式。需采用正确的可行的就业导向
作为新时期重要的人才资源,研究生的就业问题不仅关系到研究生自身价值的实现也直接影响到我国教育事业的持续健康发展。研究生就业问题的产生是复杂的,所以对其问题的解决要进
公示语提供对应的英文翻译已经成为石狮市国际化的一个需要,但在公示语的实际翻译实践中存在不少问题。通过大量实地走访、调查和拍摄留证,对石狮市公示语英译的现状进行了分析
案例教学是一种不同于传统教学的新的教学方法。案例教学的理论和实践证明,案例教学具有实践性、创新性、激励性、交互性。理论经济学课程案例教学具有实践教学的性质,目前理
延安精神是中国共产党人和中国人民的宝贵精神财富,中央八项规定是在此思想基础上的继承和发展,是中国共产党在新形势下关于党风廉政建设的又一重要规定。党风廉政建设需要用延
本文从有效势能入手,通过理论推导,得出了地球的蛇行轨道运动是地球在太阳作用下的圆周运动和地球在月球作用下径向上的受迫振动的合运动的结论。