本文首先对搜索引擎中的排序系统作了简要的分析,介绍了近期新出现的机器学习排序的概念,对其中样本标注所采用的众包标注技术的国内外研究情况进行了介绍。之后本文针对众包标注准确率低的问题提出了一套解决方法,包括了计算对标注数据投票的一致程度、引入用户点击数据来判别标注的正确性等。其中利用点击数据来判别标注正确性的方法包括基于单点点击特征的判别方法和基于配对点击特征的对比判别方法。最后本文设计并实现了一套将用户行为作为排序特征加入到排序模型中的系统。这些用户行为包括了用户在搜索引擎结果页上的点击行为和用户在浏览着陆页的行为等。同时本文还介绍了如何将用户行为描述为用户对相关性的感知及如何预处理用户行为数据。最后为了验证提高标注数据准确率的方法和加入用户行为特征的有效性,本文从目前主流的搜索引擎评估算法中选取了针对本文的评估策略,并且通过相应的实验证明了本文所述方法的有效性。