基于字符树结构的高性能中文词库技术

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:wcd_soft
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量中文信息处理是大数据处理的一个分支,而利用大数据技术进行中文信息处理一定离不开中文分词,所以中文分词技术是大数据中文信息处理的基础性技术.中文分词技术自本世纪以来,一直在性能与精确度两个方向在推进;在性能方面主要以改进分词扫瞄算法,改进词库存储技术与查询方式来提高性能.在精确度上主要是对未登录词与歧义词的甄别与处理方法进行改进.本文摒弃了通过词库索引查询的思想,提出一种基于字符树的词库存储结构.它的分词速度是普通折半法的35倍,占用内存只是它的1/5.它将为大数据技术在处理中文信息时在性能上推进了一大
其他文献
工程设计质量直接关系到最终整体工程项目的质量,应对电力工程建设项目的设计内容给予高度重视,对电力工程建设项目实施精细化管理。并针对具体的问题采取积极有效的措施。本文
通过临床观察和实验研究,发现咪达唑仑注射液续滴复方氨基酸注射液后输液皮管中即呈乳状。提示咪达唑仑注射液与复方氨基酸注射液不宜配伍。
“青花装饰”作为陶瓷釉下彩绘的一种艺术形式,是以发色稳定的钴矿为彩料,在坯体上进行彩绘后,罩以透明青白釉,入窑用还原焰烧成。温度约1300度至1320度。烧后的纹样和青白釉协调
在新版的《国际单位制(SI)》中,SI单位的含义发生了重大变化,取消了“辅助单位”这一分类类别,此外新增一个具有专门名称的一贯SI导出单位katal。基于上述变化,我国法定计量单位的
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
医院工会经费是医院工会依法取得并开展正常活动所需的费用,是各项工会活动得以顺利开展的重要保障。医院工会活动的正常开展和日常工会业务的顺利运行离不开工会经费的有效
<正> 作者从1993年开始用胰岛素治疗急性脑梗塞,取得良好效果。现报道如下。1 资料与方法1.1 资料(1)治疗组:148例,男89例,女59例,年龄28~78岁,平均54.2岁。其中大脑中动脉深
目的:探讨经皮球囊扩张椎体成形术(PVP)应用在老年骨质疏松性胸腰椎骨折治疗的效果.方法:对收治的22例老年骨质疏松性胸腰椎骨折患者应用经皮球囊扩张椎体成形术治疗.通过观察比