论文部分内容阅读
众包是一种调度互联网分布式用户资源来协同完成任务的工作机制。在众包活动中,不同专业技能的工作者在不确定的环境下,通过某个平台来完成不同的任务。由于这种开放的工作模式,众包任务结果中往往包含很多低质量的数据。目前常用的质量控制方法通常是在确定的工作环境下,通过增加工作者人数、评估工作者能力等手段来提升任务质量。这些方法虽然可以使众包结果质量得到一定的提升,但仍存在一些不可忽视的问题:一方面它们忽略了众包交互过程中存在的诸多不确定性,导致其在真实环境中的有效性受到影响;另一方面它们在提升任务质量的同时,也使得众包成本呈线性增长。针对以上问题,本文首先对实际环境下的众包用户交互行为进行理解和分析,为众包的平台建设、交互机制设计提出了相关建议;在此基础上,设计了不确定任务环境下的众包调度机制,以达到众包质量与成本之间的有效平衡。本文的主要工作如下:(1)基于扎根理论的众包交互行为定性分析。为了充分了解众包在实际环境下的交互情况,本文以当前国内最大的众包平台——阿里众包为具体研究实例,采用了基于扎根理论的行为分析方法,对国内流行的众包平台进行了综合调研,结合众包环境对阿里众包的实施过程和用户行为进行分析,探索任务环境对众包实施过程以及用户行为产生的影响。同时,结合我们的研究结果对未来众包的平台建设、交互机制设计提出了创新性的建议,以期对国内众包技术的研究以及发展起到积极的作用。(2)基于不确定任务环境的众包任务难度特征发现。现有的研究证明,众包结果质量的好坏在很大程度上受到任务难度的影响,即使是同一批数据,其任务难度也是不完全相同的。本文首先采用任务数据的固有属性及无监督聚类方法作为任务数据集的分组方法,利用这些分组方法对数据集进行分组。然后,本文提出了基于贪心算法的最小样本覆盖方法,利用该方法在每个分组下选择尽可能少的样本数据交给众包工作者进行标注。最后我们收集样本数据集的众包结果,利用结果数据计算每种分组方法下各个子分组数据的标注难度,选择子分组难度差异最大的分组方法所对应的分组特征作为“难度”特征的最优近似值。本文将众包任务的难度放在实际环境中进行考虑,结合众包的实际情况对于任务难度进行了自适应估算,对任务难度进行了一个全新的构造。(3)基于不确定任务环境的众包调度机制设计。本文利用基于不确定任务环境所发现的“难度”特征,对众包任务集进行分组,根据每个子分组下的任务难度为其分配不同的工作者人数,以期提升众包结果的质量。此外,在不影响众包任务结果质量的情况下,利用半众数投票的方法,在众包活动执行的过程中动态地缩减每个任务的工作者人数,进而缩减众包的实际成本。我们在实验室环境以及真实的众包环境下,使用了三个数据集进行相关实验。实验结果表明本文提出的方法可以有效地识别任务难度特征、提高众包结果的质量,并且可以降低众包的成本,从而证明任务难度作为任务建模属性的有效性以及近似方法的合理性。