论文部分内容阅读
本文所描述的问题推荐模型是基于某互动中文问答平台所开发个性化推荐系统。该中文问答平台上存在着大量未被回答的问题，个性化推荐系统能够根据用户的注册信息以及其在该互动问答平台上的登录、浏览和回答等行为，为用户推荐相关问题，以降低用户找到能够回答的待解决问题的成本，提高问题的回答量，更好地进行知识分享。该问题推荐系统的推荐模型采用的是基于机器学习技术构建的基于内容的推荐算法，借鉴了精准定向广告系统的思路，以推荐问题的点击率作为系统的优化目标，结合中文分词[76,77,78,79]、关键词提取、命名实体识别(Named Entity Recognition，NER)[81,82,83,84]等技术，建立点击率(CTR)预估模型来匹配用户与问题。点击率预估模型计算条件概率P(click=true|user=uid, question=qid)，即以新问题被用户点击的概率作为用户与新问题匹配程序的度量，并使用最大熵(Max Entropy)模型来拟合上述条件概率。原始版本的问题推荐模型存在以下两点不足：首先是推荐模型仅使用了非常少量的特征。特征的维度少导致模型容易出现欠拟合的现象。其次，静态的推荐模型无法适应数据分布的变化所造成的影响。本文的工作在于改进了原始版本的问题推荐模型，具体而言包括以下两个方面的工作：1.通过在问题推荐模型中引入语义特征、组合特征以及偏置项等，结合模型选择与正则化技术，提高了推荐模型的准确率。改进后的模型使用了概率潜在语义分析(probability Latent Semantic Analysis,pLSA)技术提取问题文本的语义特征。在语义层面对文本进行处理能够获得比在词汇层面更好的效果。原有推荐模型在基准数据集上的准确率为88%，改进后的模型在基准数据集上的准确率为95%。2.设计并实现了问题推荐模型的离线训练系统。该系统能够完成基础数据自动下载、特征提取、模型训练与模型选择等功能，能够实现问题推荐模型的离线训练与定期更新。设计离线训练系统的目的在于定期产出新的推荐模型。实验结果证明问题推荐模型的数据分布具有时序性，使用静态模型无法适应数据分布变化的影响。改进后的问题推荐模型以及离线训练系统已经上线，为该互动中文问答系统的用户提供更加准确的个性化问题推荐服务。