众包质量控制算法及评价框架研究

被引量 : 0次 | 上传用户:lxg888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
众包技术通过招募未知工作者群体,利用群体的智慧来解决机器难以解决的问题。虽然众包近年来已经得到了广泛应用,但是众包解决问题时需要从未知工作者收集答案,使得质量控制问题成为在线众包平台面临的最大挑战。平台的工作者们可能缺乏必要的专业知识、存在偏见或者被恶意因素所驱使,因而会造成低质量甚至完全错误的众包结果。为了解决这个问题,本文提出了一种两阶段基于工作者过滤和期望最大化的质量控制算法。在第一阶段,算法利用工作者应答时间和答案冲突作为反馈,对工作者进行评价并过滤恶意工作者。在第二阶段,算法通过采样算法设定初始值,并通过期望最大化算法,估计用户质量和任务的答案,得到高质量的聚合答案。该算法解决了传统算法中隐式反馈未得到有效利用、恶意工作者影响答案质量以及期望最大化算法初始值设定等问题。尽管相关研究已经提出多种质量控制算法,但研究中缺乏统一的评价标准和评价指标。本文针对这个问题,提出了众包质量控制算法的通用评价框架,并提出了任务分配、恶意工作者比例、答案位置分布等多种评价因素。该框架分别在线平台和模拟平台中测试算法的运行效果,并结合多种评价因素和评价指标测试算法的有效性和鲁棒性。最后,论文在该评价框架下实现了基于工作者过滤和期望最大化的质量控制算法以及几种现有的对比算法,并通过大规模模拟和在线实验,验证了本文提出的算法的有效性和鲁棒性,同时还通过对比实验指出了其他算法存在的问题。
其他文献
目前国内外甾体药物的生产大部分品种是以来自于薯蓣的薯蓣皂甙元为原料,采用半合成的方法进行工业化生产,反应步骤长,产率低。薯蓣是多年生藤本植物,资源来源日趋紧张。通过
<正>乐视网掌门人贾跃亭一向给人一种低调和神秘的印象。不过,最近,他一改作风。9月,乐视网以"现金+增发股票"的方式用16亿收购《甄嬛传》的制作公司花儿影视以及乐视新媒体
随着和谐社会建设的深入发展,新时期在和谐社会的视野下大学生利他行为也呈现出不同的特点,一方面我国大学生利他行为的主要表现:助人为乐行为,见义勇为行为,参与爱心活动行
随着高校管理朝民主化方向推进,学生权力逐渐受到高校管理者和学生的广泛重视,而学生组织则是保障学生权力的重要组织载体。高校班级作为行政决定型学生组织和基层学生组织,
随着时代的发展社会文明化程度的提高,公益广告大量进入人民生活。公益广告发展借助了很多可用资源,使用明星代言就是很重要的一项举措。明星也越来越配合公益广告的这种需求
综述了木芙蓉的生物学特性及功能作用,结合九江市园林绿化实际指出了木芙蓉的应用现状,并针对现状提出了相应的应用建议,包括水岸边及假山上进行大面积种植、厂矿企业周边绿
<正> 肌囊管综合征(Biliary Cystic Duct Syndrome 简称 BCDS)自 Schmien 提出已有近百年的历史。本病是指非结石性机械性胆囊管部分梗阻。以往有各种不同的名称,如胆囊运动
<正>一年前,按照中央和省委的统一部署,在省直机关和企事业单位中开展"连百乡包千村"行动,全省各级选派26000多名干部到村担任"第一书记"。省人大常委会机关高度重视这项工作
随着我国大量的城镇建设与发展,商业街作为最富有活力的街道开放空间,已经成为城市景观设计中最基本的构成要素之一。并且,作为城市景观设计的一部分,商业街以它自身特有的功