论文部分内容阅读
介绍了词法分析、句法分析在自然语言理解研究中基础的、决定性的重要地位。针对目前词法分析、句法分析研究热点集中在基于规则方法和基于统计方法的联合应用，介绍了最大熵理论和最大熵理论对于自然语言理解研究的重要意义，并进一步介绍了条件随机场(以最大熵理论为驱动发展起来的一种用于对序列数据进行切分和标记的概率框架)。提出了应用条件随机场来构建统一的汉语词法分析。以往应用条件随机场进行汉语分词时，将分词转化为对汉字的标注。提出了使用词图作为基础的标记序列来完成汉语的词法分析，这样充分利用了现有的词典资源，在特征架的选择时也可以方便地融合语言知识。最后进一步讨论了将条件随机场应用到汉语语块分析之中。提出了未来关于应用条件随机场构建汉语词法语块分析模型的初步构想。