论文部分内容阅读
中文文本正则化是把非汉字字符串转化为汉字串以确定其读音的过程。该工作的难点：一是正则化对象——非汉字串形式复杂多样，难于归纳；二是非汉字串有歧义，需要消歧处理。文章引入非标准词的概念对非汉字串进行有效归类，提出非标准词的识别、消歧及标准词生成的三层正则化模型。在非标准词的消歧中引入机器学习的方法，避免了复杂规则的书写。实验表明，此方法取得了很好的效果，并具有良好的推广性，开放测试的正确率达到98．64％。