论文部分内容阅读
未知文本内容预测是信息检索系统的重要功能，它通过文本化、分词、建模和预测四个步骤实现。其基本语言模型采用基于最大似然估计（MLE）的概率分布方法，在实际应用中，该方法存在着效率和有效性不足的问题，影响预测的精度。通过对传统方法的分析，发现传统模型中影响系统效率和有效性的主要原因是未知词丢失、条件概率忽略以及合理未知词组零概率等问题，针对这些问题给出了引入未知词项、高阶模型和平滑处理等优化策略，导出了优化模型，并标出了影响系统性能的其他因素和下一步努力的方向。