利用大众的力量和智慧来解决一些复杂问题的众包系统和应用获得飞速的发展,而大规模参与者提供的数据质量参差不齐,使得质量控制成为众包平台面临的一项巨大挑战。同伴/参与者互评(peer grading)作为众包技术的一个特殊应用,能够极大地改善参与者的提交质量,是质量控制的一种重要方式。但是,因为参与者缺乏认真评价的动力、受自身专业能力的限制或是恶意打低分等,导致了提供的评分不准确或是随意评分的情况。本文基于同伴互评,并将MOOCs作为典型的应用环境,设计并实现适用于解决开放型任务(例如文章写作或图形设计)的同伴互评方案,也就是基于参与者互评的数据质量控制方法,并且与现有的一些同伴互评方案进行对比。论文的主要贡献如下:(1)首先提出了一个教师辅助的的同伴互评方案,RankwithTA。不同于简单的聚合方法,RankwithTA方案执行一系列的迭代,每次迭代由两个更新步骤组成:(i)根据评价者给出的评分与被评价者推测出来的聚合成绩之间的差异更新评价者评分的可靠性(准确性);(ii)基于评价者的可靠性以加权的方式更新每个被评价者提交的质量(即被评价者的成绩)。此外,RankwithTA方案还利用外部校准,即让教师给出一部分学生的正确评分,用来提供评分准确性的依据。实验结果显示,RankwithTA的性能优于基线方案。(2)在RankwithTA方案中,是利用参与者的成绩来衡量其评分能力,这在实际中是不太准确的。针对这个问题,设计了一个半监督的同伴互评方案,SSPA。半监督是指,方案将教师给出少量的准确分数作为基本事实,用来校准聚合同伴评分的过程。该方案明显地区分了参与者的完成任务的专业能力和他评审其他人作业的评分能力,然后利用同伴给的评分的加权平均来推断每个学生的最终成绩,其中评分者的权重是他的评分能力。仿真结果表明,SSPA方案的性能优于基准方案,和RankwithTA方案相比准确性也得到了提高。(3)有效的聚合算法可以消除同伴互评中无意识的打分偏差,但是还存在着恶意和随意打分的情况。根据理论分析,适当的激励机制可以有效地鼓励参与者认真并诚实地评分。针对同伴互评的一个重要场景:根据学生的相互评估,选择一部分学生授予奖学金,提出了一个基于诚实评分的防策略的同伴选择方案,TSP。该方案中加入激励机制,利用额外奖励,鼓励学生努力评分并真实地报告分数,解决同伴互评中学生不愿意投入精力参与互评的问题。理论分析和仿真结果表明,TSP既能激发学生真实地报告自己的评分,又能以防策略性的方式选择最优秀的学生。