基于专有名词优先的快速中文分词

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:sephinroth
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中文分词是中文信息处理系统中的一个重要部分。主题信息检索系统对分词的速度和准确率有特殊的要求。文中回答了词库建立的词条来源和存储结构两大问题,提出了一种基于专有名词优先的快速中文分词方法:利用首字哈希、按字数分层存储、二分查找的机制,通过优先切分专有名词,将句子切分成碎片,再对碎片进行正反两次机械切分,最后通过快速有效的评价函数选出最佳结果并作调整。实验证明,该分词方法对主题信息文献的分词速度达92万字每秒,准确率为96%,表明该分词方法在主题信息文献的分词处理中具有较高性能。
其他文献
教学重点是指对学习其他有关知识起着主导作用或应用广泛的中心内容。教学难点是指内容比较抽象、复杂,学生难以理解或容易产生错误的一些内容。教师只有掌握了教材的重、难
在研究等价类测试时,可以根据可靠性理论的健壮性和单/多缺陷假设,将等价类划分为弱一般等价类、强一般等价类、弱健壮等价类和强健壮等价类四种,其中弱健壮等价类就是传统软件工
一、开展心理卫生咨询工作的内容和做法由于学龄儿童面临着来自多方面的影响及压力会出现各种各样的心理障碍,如不适应学校纪律要求,学习困难、多动症等,这些问题都直接影响
结合网格索引和R树索引的特点,提出了一种基于网格与R树的多级混合索引。该方案首先将矩形地理空间进行租网格划分建立多级网格索引,然后针对每个小网格建立基于R树的空间索引
据西部矿业2019年报披露,公司2019年实现营业收入306亿元,同比增长6%,净利润10. 07亿元。截至2019年末,西部矿业总计拥有的有色金属矿产保有资源储量(金属量,非权益储量)为铅
教育质量的高低取决于教育者的素质。几年来,为切实减轻学生过重负担,大面积提高教育质量,我校采取措施,大力加强师资建设,全面提高教师的素质。现已基本形成了一支政治上坚
苏联教育家乌申斯基说:“智慧不是别的,而是组织得很好的知识系统。”学生目前存在着一听就懂,—做就错,—过就忘的现象,主要是没有把基础知识牢固地记忆,而记不牢的原因,其
1穆龙套金矿(Muruntau)2016年产量68. 12吨。Muruntau金矿属乌兹别克斯坦政府所有,它轻松获得世界上最大的金矿的称号,其生产量几乎是排名第二的矿山黄金产量的两倍。但GFMS
静海县独流镇第二小学,在全校学生中积极开展在校做个好学生、在家做个好孩子的“双好达标”活动。在学生思想品德教育方面,取得了明显的效果。首先,该校根据《小学德育纲要
课堂教学是教学的主渠道,为了进一步深化教学改革,做好教师授课质量的考评工作,有必要对教学质量评估进行一番探索研充。笔者认为课堂教学和评估标准,可分为宏观标准和微观标