基于机器学习的无需人工编制词典的切词系统

来源 :模式识别与人工智能 | 被引量 : 0次 | 上传用户:Mr__x007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文介绍了一个基于自学习的无需人工编制词典的切词系统.首先用统计方法建立起附有相关度的切词词典.然后,提出将切词问题转化为一个有向图中求解最大加权路径问题,并提出利用词典中的相关度信息切分文本的一个新算法.最后,我们对词典和切词的质量都作了系统的分析,并与其他方法作了性能比较. In this paper, a self-learning based system for word segmentation without manual compilation is introduced.Firstly, a word segmentation dictionary with relevance is established by statistical method.Then, the problem of word segmentation is transformed into a directed graph to solve the maximum weighted path And put forward a new algorithm that uses the relevancy information in the dictionary to divide the text.Finally, we make a systematic analysis of the quality of the dictionaries and the cut-words, and compare them with other methods.
其他文献
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
该文应用反相高效液相色谱法对含邻硝基苯酚钠、对硝基苯酚钠、5-硝基邻甲氧基苯酚钠的混合样品进行了色谱分离,以外标法进行了定量测定。本方法具有快速、简便和准确的特点。
利用PEG-4000对春小麦根系进行了不同时间和浓度下水分和磷素胁迫处理,结果表明,根系和叶片干重均随胁迫时间的推移而显著下降,叶片的相对含水量从处理开始到胁迫24h明显下降,其后变化呈起伏