试题是考察学生对所学知识点掌握程度的传统载体,其考察的知识点和相应认知动词是教学活动中最根本的数据资源,有了它们,才能深入开展后续的教育数据挖掘和学习分析研究,因此标注出试题知识点和相应认知动词,就显得尤为重要。众包作为一种开放式的知识生产过程,聚合多个工作者的共同努力,生成优于单个个体的方案,在解决诸多复杂的实际问题方面效果显著。基于此,本文提出利用众包模式来完成试题知识点和认知动词的标注任务。只有众包成果的质量过关,标注工作才有意义。因此本文从众包成果的质量评估和控制两方面入手开展研究:(1)为有效评估众包成果的质量,提出了一种基于工作者可信度的众包质量评估方法。首先利用金标准数据筛选合格工作者,以改进质量评估流程,然后量化工作者的历史数据引入工作者置信值指标,根据工作者标注成果判断工作者属性,用工作者置信值和工作者属性来衡量工作者可信度,最后将工作者可信度引入传统EM算法中,以期合理选择EM算法中的初始值,从而提升众包标注成果质量。(2)为控制众包成果的质量,激励工作者高质量地完成众包任务,提出了基于工作者能力和分类激励的众包质量控制方法。首先过滤掉低质量工作者的标注,定义试题标注难度和工作者标注能力两个指标,提出工作者能力模型,以工作者能力作为权重,然后对各知识点(或认知动词)标注的支持率进行加权,使得高支持率的知识点(或认知动词)尽可能接近该试题的正确标注答案,迭代整合出更高质量的标注成果;其次,为了鼓励高质量工作者提供更多的优质标注,对工作者进行分类激励,针对高质量工作者,将工作者的标注成果产出定义为一个关于工作者可信度、工作者质量和随机因素的函数,依托委托代理理论,构建激励机制模型,并求最优解,最终得到适用于高质量工作者的竞价激励机制。而普通工作者可获得基础薪酬。本研究利用高中数学试题标注数据验证了基于工作者可信度的改进EM评估方法能有效评估众包成果。同时也验证了基于工作者能力的众包质量控制算法可改善众包成果的质量。最后本研究提出的分类激励机制能鼓励高质量工作者提交更优质的标注成果,从而有效控制众包成果的质量。