中国的诗歌艺术渊源流长,诗歌作为一种最接近口语的大众化文学形式,在汉语文化的成长演变与传播中占有极其重要的地位,唐代的诗歌更是集古代诗歌的优势于一身,并且把诗歌艺术发扬光大,因此对唐诗的研究历来是汉学研究的热点之一.不过,诗歌的传统研究往往依靠研究者的自身良好的文化修养,凭感悟直接把握作品的内涵,这种研究方法对于诠释作品的美学及人文意义有很强的优势,但在对作品的语言全貌进行横向和纵向的分析时,就会显得捉襟见肘. 在一个语言处理系统中,确立其基本处理单位是至关重要的.唐诗作为中国古代文化的精髓.其词汇的提取由于社会文化的变迁,完全由人来掌握这一标准已经比较困难,尤其是对于唐诗这种古代汉语的特殊的语料,统计的方法起到了非常重要的作用.本文的重点是运用统计的手段对唐诗语料进行未登录词的发现.词的统计提取最后的目的是构建词表,为语言处理系统接下来的工作做出了良好的铺垫.本文将进一步研究融合词法甚至部分语义信息,集经验主义(统计主义)与理性主义(规则主义)于一体的词的提取方法。