中文分词是中文自然语言处理的基础性任务,分词的准确性直接影响到后续处理任务,分词的速度影响到后续的直接应用。成功的分词方法需要具有较高的准确性和快速切分的能力。由于中文自身的复杂性,如何做到有准又快地分词一直是中文自然语言处理的难题。　　 本文首先介绍了分词技术研究的现状以及应用范围,阐述了当前常见的分词方法和各种分词方法的优缺点,分析了中文分词研究面临的问题,由此引出本文的研究论题:基于词典的机械切分可以做到比较快速的切分,但是其不足之处是局限于词典,准确率和处理新词的能力无法达到满意的效果,条件随机域统计模型能很好地达到新词识别的能力;然后提出了一种结合词典和CRF统计分词的方法,将CRF识别新词的优势和机械分词的速度优势相结合。改进了CRF的解码部分,使用词典先做全切分,而后依据模板计算阈值并以此判定是否为新词,同时可以在平均程度上加快解码速度:由于词典是联系机械分词和统计分词的重要纽带,为了实现吸纳新词和快速切分,本文提出了分级词典的方法,由核心词典和临时词典组成,核心词典是分词接口的唯一依据,临时词典负责记录新词。　　 本文采用人民日报1998年1月语料库和部分网络抓取语料做了一些实验,并进行了封闭测试。实验验证了使用本方法完成新词发现任务的可行性,其他系统的横向评测使用标准做了横向比较,实验表明该方法具有较快的分词速度和较高的准确率,是一种可行有效的分词方法。