Nutch中庖丁解牛中文分词的实现与评测

来源 :计算机与现代化 | 被引量 : 0次 | 上传用户:xue19830821
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中文分词是搜索引擎面临的主要挑战之一。本文通过分析Nutch文档的评分机制,针对Nutch中文分词模块的分词不符合汉语习惯的情况,提出采用以词典分词法为基础的庖丁解牛分词模块对Nutch要采集的数据进行切分,描述在Nutch上实现庖丁解牛分词模块的方法,并对该分词模块进行测试。实验表明,庖丁解牛分词模块的分词结果更符合汉语习惯,并且在词项对文档的覆盖方面更加均衡,另外索引文件所占的存储空间节省20%~65%。
其他文献
为防御突发水污染事故可能造成的水环境影响,本文研究建立基于B/S结构突发事故模拟平台,为制定科学有效的事故处置方案提供依据。以浙江省某条河流为例,采用PHP+MySQL体系架构
目的 观察氯吡格雷反应阴性的不稳定型心绞痛患者经皮冠脉介入治疗(PCI)术后不同抗血小板治疗方法的早期和晚期临床效果.方法 连续入选择期行PCI治疗术后24 h经血栓弹力图测定
民生新闻作为当今新闻报道的潮流,已经成为新闻媒体行业的“新宠儿”,然而,在民生新闻蓬勃发展的今天也暴露出了一系列的问题。民生新闻虽然能够真实地反应出我国公民的生活
目的 研究大黄在防治重度急性有机磷中毒(AOPP)引起全身炎症反应综合征(SRIS)、胃肠功能障碍、多器官功能障碍综合征(MODS)方面的效果.方法 将100例受试对象按照随机对照原则分为大
由于网络化、数字化的发展,广播电视的播出手段也发生了巨大的变化,硬盘播出系统逐渐代替了传统的录像机磁带播出系统。硬盘播出有着盘带播出无可比拟的优点,但是也有自身的不足
目的观察从脾胃立论针药结合治疗多囊卵巢综合征(PCOS)的临床疗效。方法将多囊卵巢综合征患者120例随机分为A组(予西药治疗)和B组(针药治疗),比较2组患者在排卵率、规律月经
随着MBD技术在航空领域的深入应用,基于MBD全三维设计支持系统在航空企业的设计开发和应用只是起到抛砖引玉的作用,如何使得复杂航空产品制造企业在不断提高设计效率、缩短制造
点、线、面是所有平面艺术的基本构图要素,是形成视觉空间感的基本手段,也是报纸版式设计的基本语素。报纸的版式设计归根结底就是对于点、线、面的综合运用。一份报纸版面摆
基于中尺度自动气象站数据库的应用很多,并且我省加密自动站数量近千个,大量实时数据的传输使数据库负荷比较重,容易出现入库异常情况。本文介绍了如何应用Visual Basic结合Flas
【正】在网络和新媒体飞跃发展的今天,出镜记者不再指单纯意义上的电视记者,只要可以传播视频消息,都可以是出镜记者。记者出镜包括一般出镜和现场直播出镜,由于网络直播和电