互联网对于信息传播的巨大推动作用,越来越多的新词出现在人们的生活之中。这些新词反映了词汇学的发展和演进的趋势,成为语言学关注的焦点,也是自然语言处理无法回避的一大挑战。新词的自动识别,在汉语词典编纂、信息抽取、汉语自动分词等多领域都具有重要意义。新词是指词法分析器使用的词典里没有收录的词。汉语自动分词面临的一个主要难题就是新词的自动识别。含有新词的文本经过分词后,大多被切分成碎片的形式。本文对Internet下载的新闻语料进行汉语分词和词性标注,然后进行串频统计,得到潜在新词。对于单字串模式的新词,本文提出了一种新的基于大规模语料库的新词识别方法,利用汉字与相邻的切分标注的共现频度,建立局部二元模型。该模型考察构成新词的汉子和上下文之间的关系,使用局部二元统计量来筛选新词。两个相邻汉字的互信息度量了它们之间的紧密程度,对于大于两字的单字串,我们引入平均互信息的概念,计算潜在新词的相邻汉字互信息的平均值,并将其应用到单字串模式的新词识别中。实验结果表明,使用局部二元模型的新词识别效果好于使用平均互信息,前者的F-值可达到79.05%,高于后者的71.37%,表明了局部二元模型的有效性。我们进行了将平均互信息和局部二元统计量结合起来使用的实验,F-值可达到79.94%。对于“双字词+单字”模式的新词,本文将其定义为后缀模式。首先使用人工归纳出的后缀集合,以及根据词表统计出作为三字词尾字的汉字集合,分别进行了实验,又将两个后缀集合合并起来,实验结果高于单独使用一种方法的效果。