数字人文类众包抄录平台中任务绩效的影响因素研究

来源 :图书与情报 | 被引量 : 0次 | 上传用户:fawudai111111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘   要:数字人文类众包抄录项目对文化遗产的转录、存储、传播和发展而言具有重要意义。由于该类型的项目具有专业性高、任务量大等特点,因此保证抄录质量、提高任务绩效是优化众包抄录的主要任务之一。本文以国内具有代表性的数字人文类众包抄录平台--盛宣怀档案众包抄录项目为例,选择了准实验的研究方法,探讨不同任务复杂度和领域知识水平下,众包抄录任务的绩效差异。研究结果表明,任务复杂度和领域知识水平及两者之间的交互作用均影响数字人文类众包抄录平台中的任务绩效。研究结论为国内数字人文类众包平台的建设提供了任务设计、参与者招募及任务匹配等方面的实践建议。
  关键词:数字人文;科研众包;任务绩效;任务复杂度;领域知识
  中图分类号:G315   文献标识码:A   DOI:10.11968/tsyqb.1003-6938.2019044
  Influence Factors of Task Performance on Crowdsourcing Transcription Platform in Digital Humanity Domain: Perspectives of Task Complexity and Domain Knowledge
  Abstract Crowdsourcing transcription projects in digital humanity domain are of great significance to the transcription, storage, disseminate and development of cultural heritage. However, because of the heavy workload and the high-level professionalism in the crowdsourcing projects, it becomes necessary to ensure the performance of crowdsourcing tasks. This paper adopts Transcribe-Sheng Project, one of the typical crowdsourcing projects in digital humanity domain in China, as a case. We conduct a quasi-experiment to explore the difference of task performance in the crowdsourcing transcription projects from two perspectives-task complexity and domain knowledge. Our findings reveal that both task complexity and domain knowledge significantly influence task performance. What's more, there is an interaction effect exists between task complexity and domain knowledge on task performance. Based on these findings, we provide some practical suggestions on task design, participants' recruitment and task fit for the crowdsourcing transcription projects in digital humanity domain in China.
  Key words digital humanity; scientific crowdsourcing; task performance; task complexity; domain knowledge
  1   引言
  近年來,文化产业在我国国民经济中所占比重不断上升,已成为党和国家高度重视的产业之一:从十七大开始,国家就提出了“文化大发展大繁荣”的战略;十八大提出的“建设文化强国”已成为我国发展的重要目标;日前,十九大再次强调,要“坚定文化自信”,推动社会主义文化的发展与繁荣。我国作为历史文化悠久的四大文明古国之一,丰富的文化遗产的保存、传播与发展是发展文化产业中非常重要的一环。现今,在新一代的互联网环境下,如何将丰富的文化遗产数字化,成为社会各界需要迫切关注的问题。首先,数字化技术在文化遗产的保存、传播、发展过程中发挥着越来越重要的作用。早在20世纪50年代,计算机相关技术就已经开始应用于人文学科[1]。近年来,计算机等信息技术的迅速发展,为数字化技术在人文领域的大规模使用提供了条件,许多数字化工具也应运而生,如数码相机、OCR识别技术、数据库、云存储等。但是,这些数字化技术与工具也存在着一定的缺陷,如功能单一,缺少集捕获、识别、上传、存储等功能于一身的工具等[2]。更重要的是,我国的文化遗产资源具有其特殊性,不同时代、不同地域的文化资源会受到不同的历史背景与风俗习惯的影响,这种特殊性使得我国的文化遗产很难通过计算机技术进行采集与识别[3],如在古籍的抄录工作中,不同书法风格的手稿以及模糊、破损的文件等很难进行自动识别,仍需利用众包的方式,招募志愿者进行手工抄录。
  近年来,众包在GLAMs(展览馆、图书馆、档案馆、博物馆)项目的应用越发广泛,如“Transcribe Bentham Project” “Old Weather” “Australia Newspaper Digitization Program” 等[3]。在这些科研众包项目中,如何吸引大量参与者并激励其进行持续参与,成为学者普遍关注的话题,包括对志愿者前期参与动机的探索及后期持续参与意愿的研究[4-7]。然而,在鼓励志愿者参与之外,如何提高志愿者完成任务时的任务绩效,也是一个值得探究的问题。鉴于此,本文选取了具有代表性的中国数字人文类众包平台——上海图书馆盛宣怀档案抄录平台,从任务复杂度和领域知识的视角,利用准实验的研究方法,探索了影响数字人文类众包项目中志愿者任务绩效的相关因素。本文的研究结论为数字人文类众包平台优化任务设计、提高志愿者的任务绩效等提供了一定参考。   2   相关概念
  2.1    任务复杂度
  随着技术的发展与进步,人们为了工作与生活所需完成的各项任务也变得越来越复杂。任务复杂度作为影响和预测人们行为和绩效的重要任务特征之一,已被广泛应用于心理学、教育学以及管理学等多个领域的研究之中。在众包领域,现有许多研究将任务视为一个重要的影响因素[8],相应的,任务的一些概念、属性和特征,如任务复杂度等,也经常作为影响因素或前置变量,被应用于众包相关的研究中。
  对任务复杂度这一概念的理解,许多学者从不同维度进行了定义和解释。一种观点是从资源需求的角度来解读任务,将任务复杂度定义为完成一项任务所需的资源总量。已有文献中提及的任务处理所需资源类型包括认知资源、短期记忆资源、身体和心理资源、视听资源等[9-13]。Liu和Li[14]认为完成任务所需的资源数量可作为任务复杂度的一种度量,相关的资源类型包括视觉资源、听觉资源、认知资源及精神运动资源等注意力资源[15],以及知识、技能等方面的资源。还有一些学者从任务的客观属性角度对任务复杂度进行了定义,Vande Ven等[16]认为任务复杂度主要基于任务的不确定性,包括任务在输入、处理、输出三个过程中的不确定性;Campbell在总结前人的研究成果的基础上,认为任务复杂度的基本属性包括完成路径的多样性、路径之间的冲突性、产出结果的多样性以及路径与结果之间的不确定性[9]。除此之外,已有研究在对任务复杂度的定义中还提及了任务要素数量、子任务数量、任务并发性、动态性、随机性、歧义、时间压力等属性[17-21]。
  除了上述任务的客观属性,研究者还从主客观维度将任务复杂度划分为主观任务复杂度与客观任务复杂度。客观任务复杂度仅关注任务的客观属性,认为任务复杂度与任务执行者无关[22];而主观任务复杂度则考虑任务与任务执行者之间的联合属性[23],将任务复杂度定义为人与任务特征之间进行交互作用的产物[14]。在主观任务复杂度的视角下,任务复杂度更偏向于任务执行者的感知复杂度,因此影响感知复杂度的因素主要包括:经验、任务动力、认知能力、先验确定性、自信、自我效能等[20,24]。
  如前所述,由于任务复杂度的定义涉及了多个角度,因此对任务复杂度的度量也有不同的方式。对任务复杂度某一项内在特征的度量结果或某几项特征的度量结果之和均可视为任务复杂度水平的一部分。比较常见的任务复杂度测量方法是从子任务数量的属性出发,如子任务的数量、关系和变化等特征均可作为任务复杂度的衡量指标之一,甚至某些研究中直接以子任务的数量来定义任务复杂度[14];Campbell[9]认为,任何能够增加信息负荷、多样性或变化率的任务特征都可用来衡量任务复杂度。但从资源需求的角度而言,完成任务的资源需求量越高,任务复杂度水平也就越高。在本文中,为符合实验设置要求,筆者将从客观评估的角度来衡量任务复杂度,而不考虑主观评估。在任务特征的选取中,笔者将结合任务属性和资源需求两种角度,选取子任务的任务数量、以及完成任务的资源需求量这两个任务特征,作为衡量任务复杂度水平的两个指标。某项任务的子任务数量越多,完成任务的资源需求量越高,该项任务的任务复杂度水平就越高。
  2.2    领域知识
  领域知识(Domain Knowledge),顾名思义,指的是个体对某一领域或某一主题的知识的理解,包括对相关概念、目标、规则或者原则等的理解[25]。实际上,学界对领域知识的定义尚未统一,尽管先前的研究中涉及到了知识的分类,如将知识分为显性知识和隐形知识[26],但是目前还未提出一个将知识分类为某些特定领域的系统方法。
  目前,领域知识主要被应用于信息检索的相关研究中,在信息检索的情境下,领域知识被定义为与检索主题本身相关的知识,而非检索技术相关[27],且领域知识已被确定为影响信息检索结果、信息检索行为、信息检索策略以及用户与信息系统交互行为的因素之一。在不同的研究中,根据研究情境的不同,研究者所选取的知识的具体领域也有所区别。比如在微生物学相关的数据库进行检索的情境下,研究者选取的领域知识即为微生物学领域的专业知识,并验证其对用户的检索模式的影响[27]。除此之外,还有学者选择了经济学专业知识[28]、心理学专业知识[29]、医学专业知识[30]、图书馆学专业知识[31]等不同领域知识,探索这些不同领域的领域知识对用户检索行为的影响。
  综上所述,领域知识在具体领域的选择,需符合具体研究的研究主题。在本研究中,数字人文类的众包抄录任务,具体而言是对盛宣怀档案的手工抄录任务。其所需的专业知识可细分为两类:一类是与盛宣怀及其时代背景相关的专业历史知识,一类是识别繁体字与阅读文言文所需的泛在文化知识。因此,在本文的研究情境下,领域知识涵盖了上述两类,即包括历史背景的专业知识与古汉语文字识别的泛在文化知识。
  2.3    任务绩效
  绩效是组织管理中常用的一个概念,不同研究对绩效概念在层次与维度上的解读各有差异。首先,对绩效不同层次的理解可分为三层:个体层面、团队层面和组织层面。在本文中,由于众包抄录任务的参与者为个体,因此更倾向于从个体层面来理解绩效。个体层面的绩效概念界定,不同学者有不同的看法。部分学者认为绩效是一种目标导向的行为,Murphy[32]和Campbell[33]均支持这一观点。在这种观点下,个体为了达成组织设定的目标而进行的一系列行为,均可视为个体的绩效。这种行为绩效由个体直接表现出来,更容易被观测。另一种观点认为绩效更应当被定义为工作的结果[34]。因为工作结果与组织目标实现与否间的关系更为直接,且更能够直观反映出个体在组织中的贡献程度。
  在对绩效的不同维度的理解上,Borman和Motowidlo[35]提出的绩效的二维模型最被大家所接受,该模型从任务绩效和关系绩效两个维度来理解绩效这一概念。任务绩效指的是个体应当承担的工作的完成情况和结果,与个体被规定的工作范围、个体的工作能力等有关;而关系绩效更多指的是个体在工作范围之外的贡献程度,如人际关系促进等,关系绩效更多的受到个体的人格、态度等因素的影响。目前,已有学者在中国的文化背景下验证了绩效的二维模型,并证明了该模型在中国背景下依旧适用[36]。   在本文的研究情境下,由于本文设计的实验中参与者均为单个个体。因此,本文中的绩效更多的偏向于个体层面以及任务绩效维度,任务绩效是与个体的工作产出直接相关的,并且可以被直接评价[37]。因此,本文将邀请古汉语专业的专家来对参与者完成的众包抄录任务进行评价,并将评价结果作为参与者的任务绩效。
  3   研究假设
  3.1    任务复杂度对任务绩效的影响
  已有大量文献在不同情境下探索了任务复杂度与任务绩效之间的關系,在总结已有研究的基础上,Liu和Li[38]将任务复杂性与任务绩效的关系归结为了四类:
  (1)任务复杂度与任务绩效负相关。大多数任务复杂度的研究都支持了任务复杂度与任务绩效之间的负相关关系。因为低复杂度的任务意味着较低的资源需求量,对认知、短期记忆、心理等方面的要求要低于高复杂度的任务[11],且有学者认为低复杂度的情况下,人们的决策和执行能力更加准确[39],因此低复杂度任务的任务绩效一般会高于高复杂度任务的任务绩效。
  (2)任务复杂度与任务绩效正相关。部分学者在实证研究中发现,任务复杂度有可能会正向激励任务绩效的提高。如在学习任务中,任务复杂度可以激发潜力,提高学习绩效[40];在一些重复性比较高的工作中,任务复杂度可以通过提高工作兴趣而提升任务绩效[41]。
  (3)任务复杂度对任务绩效的影响会受到其他因素的调节作用。在这种观点下,任务复杂度与任务绩效的关系会受到其他因素的调节与制约。
  (4)任务复杂度与任务绩效的关系呈倒Y型。有些学者认为,在一定阈值范围内,任务复杂度水平的增加会促进任务绩效的提升,但当任务复杂度水平超过任务执行者的能力范围之后,过高的任务复杂度反而会降低任务绩效[18]。
  综上所述,任务复杂度的变化确实会影响任务绩效的高低。在本文的研究中,由于笔者选取了资源需求量和子任务数量作为任务复杂度的两个测量维度,即任务复杂度水平越高的任务,对资源的需求越高,子任务的数量也越多,相应的,对任务执行者的能力和时间的要求也就越高;且本文所选取的任务为数字人文类众包平台中的手稿抄录任务,该类任务本身具有一定的难度和挑战性,并非枯燥的重复性工作和学习任务,笔者认为抄录任务中任务复杂度的增加对参与者的激励作用不大。因此,在上述分析的基础上,本文提出了如下假设:
  H1:任务复杂度的高低会影响数字人文类众包抄录平台中的任务绩效,且随着任务复杂度的增高,任务绩效反而会降低。
  3.2    领域知识对任务绩效的影响
  如前所述,现有研究关于领域知识的研究主要集中在信息检索领域。研究者对领域知识与检索策略、行为与结果之间的关系进行了一系列的探索,并从不同的角度得出了不同的结果。有学者认为,领域知识水平较高的检索者与领域知识水平较低的检索者相比,检索过程更高效,检索结果也更准确。但是在领域知识的作用机制方面,不同学者有不同看法,Hoelscher和Strube[28]认为,领域知识水平高的检索者可以得到更多相关的检索结果,进而得到较好的搜索结果;Tabatabai和Shore[42]则认为,领域知识水平高的检索者检索结果更好是因为领域知识可以帮助他们更好地区分相关与不相关的检索结果;Xie和Cool[43]认为,领域知识水平高的检索者可以更好的寻求检索环境中的各类帮助,从而更顺畅的进行搜索过程;除此之外,Allen[44]发现,领域知识水平高的检索者可利用更多的关键词进行检索,制定更加精确的检索式来找到想要的结果。在学术信息搜索的情境下,Wu等[45]利用实验的方法,探索了领域知识与协同经验对协同学术信息搜寻行为的影响,研究结果发现,领域知识与协同经验均能提高群体的协同学术信息搜寻行为,且领域知识的影响要高于协同经验。上述所有研究结果均显示,领域知识正向影响检索结果。然而,还有部分研究并没有发现领域知识与检索结果之间的显著关系。如Campbell[33]发现,在检索经验一致的情况下,领域知识对检索结果的影响并不显著[33]。
  综上所述,在本文的研究情境下,笔者认为领域知识水平高的参与者完成的抄录任务绩效会更高。首先,领域知识水平高的参与者,其识别繁体字、阅读文言文的能力更强;其次,在抄录过程中遇到超越自身能力的困难时,领域知识水平高的参与者也可以更迅速、精确地找到与之相关的资料来完成抄录,并保证抄录的质量。基于上述分析,本文提出了第二个假设:
  H2:参与者领域知识的丰富度会影响数字人文类众包抄录平台中的任务绩效。
  3.3    任务复杂度与领域知识对任务绩效的交互影响
  人们普遍认为,个体的绩效取决于任务特征(如复杂性和紧迫性)、任务执行者特征(如知识和技能)和环境特征(如噪音和温度)之间的相互作用[14]。在本文的实验设计中,由于采取了准实验的研究方法,在自然的情况下进行实验处理,不会像实验室实验一样控制环境等无关变量,因此本文探究的是任务特征(任务复杂性)与任务执行者特征(领域知识)之间的相互作用对众包抄录任务的任务绩效的影响。如前所述,任务复杂度越高,其子任务数量就越多,对参与者认知等资源需求的要求也就越高;而领域知识水平较高的参与者,其获取相关资料的能力较强,因此面对任务复杂度较高的任务时,领域知识水平较高的参与者,其认知资源需求会低于领域知识水平较低的参与者。因此,本文假设,任务复杂度与领域知识间的交互作用会影响众包抄录中的任务绩效。
  H3:任务复杂度与参与者领域知识,对数字人文类众包抄录平台中的任务绩效存在交互影响。
  4   实验设计
  4.1    实验背景
  本文的实验设计依托于上海图书馆的盛宣怀档案抄录项目,该项目是我国目前较为典型的大型数字人文类众包抄录项目之一。选择该项目的理由如下:   (1)丰富的史料资源:收藏于上海图书馆的盛宣怀档案收录了盛宣怀家族自1850至1936年间共计17万余件的档案记录,档案内容涉及到清朝末年的政治、经济、社会、军事、外交、金融、贸易、教育等各个方面,史料类型涵盖日记、文稿、信札、电报、账册、电文、合同、章程等多种形式。由此,盛宣怀档案被誉为“中国私人档案第一藏”。
  (2)珍贵的历史价值:盛宣怀档案众包抄录项目对研究中国清末到近现代历史而言具有重要意义。盛宣怀(1844-1916)是清朝末年重要的政治家与企业家,曾参与过洋务运动、辛亥革命等重大歷史事件。因而盛宣怀档案被视为研究“中国近代史的第一手史料宝库”,对该档案的抄录具有重要的历史价值。
  (3)完善的众包平台:由于盛宣怀档案存在着数量巨大、识别困难(如手写繁体、字迹模糊、纸张损坏)等问题,因此除了依靠有限的专业人员进行数字化之外,招募大量参与者进行众包抄录显得极为重要。为此,上海图书馆于2016年发布了一个线上众包抄录平台,并经过测试与修改,于2017年正式启动了该在线平台[46]。该平台持续发布盛宣怀档案抄录任务,并支持专业人员与业余爱好者对盛宣怀档案进行在线抄录。
  4.2    变量设定
  在实验研究中,较为常见的变量设置方式即为二分变量设置法,很多研究都采用了2×2的实验组设计来探究两个自变量及其交互作用对因变量的影响[47-48]。在本文的实验研究中,也将两个自变量——任务复杂度与领域知识,均设置为了二分变量(形成的2×2实验组见图1)。
  具体到单个变量的测定,本文将结合每个变量的内在特征与实际的抄录任务特征,来对具体变量进行测定。首先,在对任务复杂度的测定中,如本文所述,将采取子任务数量及完成任务所需的资源总量两个指标来衡量任务复杂度水平。子任务数量,反映到具体的众包抄录任务特征中,即为抄录任务中的图片数量。在盛宣怀档案众包抄录平台中,每一个抄录任务会提供不同数量的任务图片,数量在一张到几十张不等(见图2),图中所示的抄录任务为信函抄录任务(施亦爵致盛宣怀函),其中,“页数”表示的是该任务的任务图片张数,在该任务中,任务图片数量为7张。在本次实验中,笔者所选取的抄录任务的任务图片数量均在10张及以内。因此,任务图片数量多于5张即代表子任务数量较多,任务图片数量低于5张(含5张)即为子任务数量较少的任务。
  至于完成任务的资源需求量,由于完成盛宣怀档案的抄录任务需翻阅大量历史资料,以确定相应的地名与人名,同时,还需查找相应的字体资料(如简繁体对应、楷书、行书、草书等不同字体的演变情况等),以确保抄录内容的准确无误。该过程需要大量的注意力资源(如视听、认知、精神资源等)、身体心理资源及短期记忆资源的投入。因此本文认为,任务图片中字体为楷体且图片保存完好的抄录任务,在完成过程中所需的资源总量较少,与之相对的,任务图片字体为行书或草书且存在破损、模糊等问题的抄录任务,完成过程中的资源需求量较多(见图3)。如图中所示的两张任务图片中,抄录左图所示的任务图片所需的资源总量,明显少于抄录右图所示任务图片所需的资源总量。
  在对领域知识的测量中,本研究所涉及的领域知识主要包括历史背景和古汉语识别两方面的专业知识。在此基础上,本文设计了相应问卷来量化参与者的领域知识水平,问卷共包含6个问题,前4个问题测量的是参与者对盛宣怀及其时代背景等相关史实的了解水平,包括对清朝末年相关历史、洋务运动相关历史、辛亥革命相关历史以及盛宣怀本人生平的了解程度;后2个问题测量的是参与者对古汉语及文言文的了解程度,包括对古汉语中繁体字的识别能力和文言文的阅读理解能力。所有问题均通过李克特5级量表进行测量,分数越高,说明参与者对历史背景和古汉语的了解程度越高。在进行实验之前,参与者需先完成该问卷,报告其领域知识水平。笔者根据参与者的自我报告情况,计算6个问题的平均分作为该参与者的领域知识水平。最后计算所有参与者的领域知识水平的平均分,并将领域知识水平高于平均分的参与者归为高领域知识水平组,领域知识水平低于平均分的参与者归为低领域知识水平组。
  在对任务绩效的测量中,笔者邀请了3位古汉语专业的专家,来对参与者提交的40个任务进行打分。3位专家将根据任务的完成情况、抄录准确度等进行打分。专家将通过盛宣怀档案抄录平台进行评分(见图4),抄录基本无误为5星,记作5分,抄录错误率在80%以上为1星,记作1分。星数越多,分值越高,说明任务的绩效越高。
  4.3    实验步骤
  数字人文类众包抄录平台中任务绩效差异的实验步骤如下:
  (1)实验对象招募:为招募本次实验的实验对象,本文通过张贴海报、线上宣传等方式,招募了40位对盛宣怀档案抄录项目感兴趣的参与者。其中,被试者来自于不同专业,学历基本在本科及以上。在被试进行实验之前,笔者先通过网络问卷测试了被试者的领域知识水平。通过计算所有问项的平均分,得到被试者领域知识水平的最终得分。通过对领域知识水平得分进行平均分割,将40位被试分为高领域知识水平组与低领域知识水平组。每组均包括20位被试者。
  (2)实验材料准备:本文从盛宣怀档案众包抄录平台中选取了任务图片数量与资源需求总量不同的40个任务。其中包括档案页数在5页及以下、字体为正楷体、保存完好的低复杂度任务20个,以及档案页数在6-10页、字体为草书或行书、纸张有破损的高复杂度任务20个。
  (3)试验任务分配:将10个低复杂度任务与10个高复杂度任务随机分配给高领域知识水平组的20位被试者,同理,将剩余的10个低复杂度任务与10个高复杂度任务也随机分配给低领域知识水平组的20位被试者。保证每个组别中均包含10位被试者。任务分配结束之后给予被试者足够的时间进行任务抄录,直至被试者在平台上提交任务为止。
  (4)任务评估:在所有被试者提交抄录任务之后,古汉语专业的三位专家将在平台中对被试者提交的40个任务进行评估。专家们将根据被试者的任务完成情况及抄录准确率进行打分。分值为1-5分,分数越高,说明任务的完成绩效越高。   (5)数据分析:为探究任务复杂度与领域知识对任务绩效的影响,本文拟选取方差分析(ANOVA)的研究方法,即分别采取单因素方差分析(One Way ANOVA)和双因素方差分析(Two Way ANOVA)的方法来研究任务复杂度和领域知识对任务绩效的单独影响和交互影响。数据处理方面,本文采用了SPSS 19.0软件中的ANOVA和GLM方法,来实现对实验数据的处理。
  5   实验结果分析
  5.1    任务复杂度对任务绩效的影响分析
  假设1探讨的是任务复杂度的高低对任务绩效的差异化影响。根据描述性统计分析的结果可知,本次实验的全部有效观察值为40个,包括20个低任务复杂度观察值与20个高任务复杂度观察值,且低任务复杂度组(M=4.75,SD=0.444)与高任务复杂度组(M=2.90,SD=1.021)的任务绩效均值存在明显差异。
  为进一步检验不同任务复杂度水平之间的任务绩效是否有显著差异,本文采取了单因素方差分析的方法来对实验结果进行分析(分析结果见表1)。
  由ANOVA摘要表可知,不同任务复杂度组间的任务绩效得分差异具有统计学意义(F(1,38)=55.225,P<0.001)。为进一步探讨任务复杂度高低与任务绩效得分之间的关系,本文以任务复杂度为自变量、任务绩效均值为因变量绘制了柱状图(见图5),低任务复杂度组的平均任务绩效(M=4.75,SD=0.444)明显高于高任务复杂度组的平均任务绩效(M=2.90,SD=1.021)。即数字人文类众包抄录平台中任务的复杂度会影响任务绩效,且任务的复杂度较低时,完成任务的绩效比较高。
  5.2    领域知识对任务绩效的影响分析
  假设2探讨的是领域知识水平的高低对任务绩效的差异化影响。首先,由描述性统计分析的结果可知,实验的全部有效观察值为40个,包括20个高领域知识水平观察值与20个低领域知识水平观察值,且高领域知识水平组的平均任务绩效(M=4.25,SD=0.91)与低领域知识水平组的平均任务绩效(M=3.40,SD=1.353)之间也存在差异。
  为进一步检验不同领域知识水平之间的任务绩效是否有显著差异,本文继续采用单因素方差分析的方法来分析实验结果(见表2)。
  由不同领域知识水平分析结果表可知,不同领域知识水平小组的组间任务绩效得分差异具有统计学意义(F(1,38)=5.431,P<0.05)。为进一步探讨领域知识水平高低与任务绩效得分之间的关系,本文以领域知识水平为自变量、任务绩效均值为因变量绘制了柱状图(见图6),高领域知识水平组的平均任务绩效(M=4.25,SD=0.91)要高于低领域知识水平组的平均任务绩效(M=3.40,SD=1.353)。即数字人文类众包抄录平台中参与者的领域知识水平会影响任务绩效,且领域知识水平较高的参与者,其完成任务的绩效比较高。
  5.3    任务复杂度和领域知识对任务绩效的交互作用分析
  假设3探究的是任务的复杂度与参与者的领域知识水平,是否会对任务绩效产生交互影响。在进行双因素方差分析之前,首先需对自变量之间(即任务复杂度与领域知识之间)是否存在交互作用进行一个判断,在进行统计检验之前,可先通过任务复杂度与领域知识之间的变量均值图进行直观判断。
  一般来说,如果自变量均值图中的两条线平行,则可以初步判定自变量之间不存在交互作用;但如果两条线相交或者延长后可能相交,则可认为自变量之间可能存在交互作用(见图7),图中两张自变量均值图中的线均可能相交,所以可以初步判定自变量——任务复杂度和领域知识之间,很大可能上存在交互作用。
  虽然变量均值图展示了任务复杂度和领域知识之间的交互作用的直观结果,但由于图形结果可能存在抽样误差,所以还需要通过统计检验来判断交互作用是否存在。
  采用SPSS 19.0软件中的GLM方法,来对实验数据进行双因素方差分析(分析结果见表3)。
  由表可知,任务复杂度与领域知识对任务绩效的交互作用显著(F(1,36)=8.188,P<0.01,Partial Eta2=0.185),即复杂度较低的任务的完成绩效要高于任務复杂度高的任务绩效,且这种差异在领域知识水平较低的参与者身上,比在领域知识水平较高的参与者身上表现得更明显;且高领域知识水平的参与者完成的任务绩效要高于低领域知识水平参与者的任务绩效,且这种差异在高任务复杂度组中,比在低任务复杂度组中表现得更加明显。假设3得以验证。且任务复杂度(F(1,36)=92.639,P<0.001,Partial Eta2=0.720)和领域知识(F(1,36)=19.556,P<0.001,Partial Eta2=0. 352)的主效应均显著。进一步进行简单主效应分析,得出分析结果(见表4)。
  由表可知,就数字人文类众包抄录平台中的任务绩效而言,低任务复杂度-高领域知识水平>低任务复杂度-低领域知识水平>高任务复杂度-高领域知识水平>高任务复杂度-低领域知识水平。
  6   结果讨论与启示
  6.1    研究结论
  本文利用准实验的研究方法,探究了在数字人文类众包抄录平台中,任务复杂度与领域知识及其交互作用对任务绩效的影响。研究结果发现:
  (1)任务复杂度会对影响数字人文类众包抄录平台中的任务绩效,且两者之间为负相关的关系,即任务复杂度越高,任务绩效反而越低。
  (2)领域知识也会影响数字人文类众包抄录平台中的任务绩效。两者之间为正相关关系,即领域知识水平越高的参与者,任务绩效也会越高。   (3)任务复杂度与领域知识之间的交互作用会对数字人文类众包抄录平台中的任务绩效产生影响。任务复杂度会影响领域知识与任务绩效之间的关系,在低任务复杂度水平下,领域知识对任务绩效的影响较小,而在高任务复杂度水平下,领域知识对任务绩效的影响非常大;领域知识也会影响任务复杂度与任务绩效之间的关系,对于高领域知识水平的参与者,任务复杂度对任务绩效的影响并不大,而对于低领域知识水平的参与者,不同任务复杂度水平下的任务绩效有较大差异。
  6.2    研究启示
  本文的研究结论对于提高众包抄录平台中的任务绩效而言有一定的参考价值。
  (1)对众包抄录任务进行细粒度划分,考虑任务复杂度因素。在当前的众包抄录任务划分中,大部分任务是根据内容或时间划分的,如将某一封完整信函作为一个任务,或者将时间相近的一组图片作为一个任务。但是这种划分方式对任务复杂度的考虑较少,如包含一封完整信函的任务图片可能会超过二十张。参与者在认领这样一组任务之后,很容易会因为任务复杂度过高而中途放弃或者索性提交质量较差的抄录结果。本文的研究结论表明,任务复杂度会显著影响任务绩效,因此,笔者建议数字人文类众包抄录平台在进行任务划分时,充分考虑任务复杂度因素,如保证每个任务的图片数量适中,一个任务中不要包含太多破损或者字体难以辨认的任务图片等,这种细粒度划分有利于降低整体的任务复杂度,从而提高平台中的任务绩效。
  (2)参与者的招募过程需重“质”而非重“量”。与其他众包平台不同,数字人文类众包平台对参与者的领域知识要求比较高,很多众包抄录任务适合交给高领域知识水平的参与者,而非所有的参与者均可胜任。以往就有学者提出在招募志愿者时,选择兴趣较高且具有扎实基础知识的参与者往往优于招募普通的参与者[49]。因此,本文建议数字人文类众包抄录平台在进行参与者招募时,需考虑领域知识的影响,对参与者的知识水平进行一定程度的审核,尽量选择领域知识水平较高的参与者来完成抄录任务。
  (3)在平台设计中增加任务匹配机制,实现任务与参与者的匹配。以往已有研究设计了科研众包平台下的任务匹配机制[50],笔者认为,在数字人文类众包平台中,考虑任务匹配机制的设计也非常重要,因为任务复杂度与领域知识水平的匹配是影响众包任务绩效的重要因素。对于数字人文类众包抄录平台而言,在低任务复杂度水平下,高领域知识与低领域知识参与者之间的任务绩效差异不大,而在高任务复杂度水平下,不同领域知识水平的参与者之间的任务绩效就有明显差异。因此,本文建议,在数字人文类众包抄录平台中设计任务匹配机制,将任务复杂度较低的任务分配给领域知识水平一般的参与者,鼓励领域知识水平较高的用户接收任务复杂度较高的任务,实现任务与接包方的匹配。
  7   结语
  本文基于我国较为典型的数字人文类众包抄录平台,利用准实验的研究方法,对影响数字人文类众包抄录平台中的任务绩效的影响因素进行了探索。研究发现,任务复杂度、参与者的领域知识及两者之间的相互作用均会对任务绩效产生影响。基于上述发现,本文在平台的任务划分、参与者招募与任务匹配角度提出了一定的实践建议。文章还存在着一些研究局限,如鉴于国内目前数字人文类众包抄录平台数量不多,本研究仅基于盛宣怀档案众包抄录平台,可能导致研究结论的代表性不高。另外,在被试者数量、以及变量的测量方面也存在一定的缺陷,未来的研究将在本研究的基础上,扩大样本量,细化研究变量,进一步探讨影响数字人文类众包抄录平台中任务绩效的因素与作用机制。
  参考文献:
  [1]  Toms E G,O"Brien H L.Understanding the information and communication technology needs of the e-humanist[J].Journal of Documentation,2008,64(1):102-130.
  [2]  Trace C B,Karadkar U P.Information management in the humanities:Scholarly processes,tools,and the construction of personal collections[J].Journal of the Association for Information Science and Technology,2017,68(2):491-507.
  [3]  趙宇翔.科研众包视角下公众科学项目刍议:概念解析、模式探索及学科机遇[J].中国图书馆学报,2017,43(5):42-56.
  [4]  张轩慧,赵宇翔,宋小康.数字人文类公众科学项目持续发展阶段的公众参与动因探索——基于盛宣怀档案抄录案例的扎根分析[J].图书情报知识,2018(3):16-25,77.
  [5]  Alam S L,Campbell J.Crowdsourcing Motivations in a not-for-profit GLAM context:The Australian Newspapers Digitisation Program[C].In:Proceedings of the 23rd Australasian Conference on Information System.Victoria,Australia,2012:1-11.
  [6]  Rotman D,Preece J,Hammock J,Lewis D,et al.Dynamic changes in motivation in collaborative citizen-science projects[C].In:Proceedings of the ACM conference on computer supported cooperative work.Seattle,WA,2012:217-226.   [7]  Laut J,Cappa F,Nov O,et al.Increasing citizen science contribution using a virtual peer[J].Journal of the Association for Information Science and Technology,2017,68(3):583-593.
  [8]  Zhao Y,Zhu Q.Conceptualizing task affordance in online crowdsourcing context[J].Online Information Review,2016,40(7):938-958.
  [9]  Campbell D J.Task complexity:A review and analysis[J].Academy of management review,1988,13(1):40-52.
  [10]  Park J.The Complexity of Proceduralized Tasks[M].London:Springer,2009.
  [11]  Jacko J A,Ward K G.Toward establishing a link between psychomotor task complexity and human information processing[J].Computers & Industrial Engineering,1996,31(1-2):533-536.
  [12]  Li K,Wieringa P A.Understanding Perceived Complexity in Human Supervisory Control[J].Cognition,Technology & Work,2000,2(2):75-88.
  [13]  Bettman J R,Johnson E J,Payne J W.A Componential Analysis of Cognitive Effort in Choice[J].Organizational Behavior & Human Decision Processes,1990,45(1):111-139.
  [14]  Liu P,Li Z.Task complexity:A review and conceptualization framework[J].International Journal of Industrial Ergonomics,2012,42(6):553-568.
  [15]  McCracken J H,Aldrich T B.Analyses of selected LHX mission functions:Implications for operator workload and system automation goals[R].ANACAPA SCIENCES INC FORT RUCKER AL,1984.
  [16]  Vande Ven,Ferry.Measuring and assessing organizations[M].New York:Wiley,1980.
  [17]  Brown T M,Miller C E.Communication Networks in Task-Performing Groups:Effects of Task Complexity,Time Pressure,and Interpersonal Dominance[J].Small Group Research,2000,31(2):131-157.
  [18]  Wood R E.Task complexity:Definition of the construct[J].Organizational Behavior & Human Decision Processes,1986,37(1):60-82.
  [19]  Zhang Y,Li Z,Wu B,et al.A spaceflight operation complexity measure and its experimental validation[J].International Journal of Industrial Ergonomics,2009,39(5):756-765.
  [20]  Katriina Bystr?觟m,Murtonen K,Kalervo J?覿rvelin,et al.Task Complexity Affects Information Seeking and Use[J].Information Processing & Management,1995,31(2):191-213.
  [21]  Woods D D.Coping with complexity:the psychology of human behaviour in complex systems[M].Tasks,errors,and mental models.Taylor & Francis,Inc,1988.
  [22]  Schwab D P,Cummings L L.A Theoretical Analysis of the Impact of Task Scope on Employee Performance[J].Academy of Management Review,1976,1(2):23-35.   [23]  Ham D H,Park J,Jung W.Model-based identification and use of task complexity factors of human integrated systems[J].Reliability Engineering & System Safety,2012,100(none):33-47.
  [24]  Maynard D C,Hakel M D.Effects of objective and subjective task complexity on performance[J].Human Performance,1997,
  10(4):303-330.
  [25]  Chiesi H L,Spilich G J,Voss J F.Acquisition of domain-related information in relation to high and low domain knowledge[J].Journal of Verbal Learning and Verbal Behavior,1979,18(3):257-273.
  [26]  Polanyi M.The Tacit Dimension[M].Garden City,New York,Doubleday,1966.
  [27]  Wildemuth B M.The effects of domain knowledge on search tactic formulation[J].Journal of the Association for Information Science & Technology,2004,55(3):246-258.
  [28]  Hoelscher C,Strube G.Web search behavior of Internet experts and newbies[J].Computer Networks,2000,33(1-6):337-346.
  [29]  Vakkari P,Pennanen M,Serola S.Changes of search terms and tactics while writing a research proposal:A longitudinal case study[J].Information Processing & Management,2003,39(3):445-463.
  [30]  De Bliek R,Friedman C P,Wildemuth B M,et al.Information Retrieved from a Database and the Augmentation of Personal Knowledge[J].Journal of the American Medical Informatics Association,1994,1(4):328-338.
  [31]  Hsieh-Yee I.Effects of search experience and subject knowledge on the search tactics of novice and experienced searchers[J].Journal of the Association for Information Science & Technology,1993,44(3):161-174.
  [32]  Jensen M C,Murphy K J.Performance Pay and Top-Management Incentives[J].Journal of Political Economy,1990,98(2):225-264.
  [33]  Campbell J P.An Overview of the Army Selection and Classification Project (Project A)[J].Personnel Psychology,1990,43(2):231-239.
  [34]  Borman W C,Motowidlo S J.Expanding the criterion domain to include elements of contextual performance[C].In N.Schmitt,W.C.Borman & Associates (Eds.),Personnel selection in organizations.San Francisco:Jossey-Bass,1993:22-27.
  [35]  Borman W C,Motowidlo S J.Task Performance and Contextual Performance:The Meaning for Personnel Selection Research[J].Human Performance,1997,10(2):99-109.
  [36]  王輝,李晓轩,罗胜强.任务绩效与情境绩效二因素绩效模型的验证[J].中国管理科学,2003(4):79-84.
  [37]  薛金红.领导-成员交换与组织公民行为及任务绩效关系的实证研究[D].上海:上海交通大学,2011.
  [38]  Liu P,Li Z.Toward understanding the relationship between task complexity and task performance[C].International Conference on Internationalization.Springer-Verlag,2011.   [39]  Jacko J A,Salvendy G,Koubek R J.Modelling of menu design in computerized work[J].Interacting with Computers,1995,7(3):304-330.
  [40]  Mascha M F.The Effect of Task Complexity and Expert System Type on the Acquisition of Procedural Knowledge:Some New Evidence[J].International Journal of Accounting Information Systems,2001(2):103-124.
  [41]  Pepinsky P N,Pepinsky H B,Pavlik W B.The effects of task complexity and time pressure upon team productivity[J].Journal of Applied Psychology,1960,44(1):34-38.
  [42]  Tabatabai D,Shore B M.How experts and novices search the Web[J].Library & Information Science Research,2005,27(2):222-248.
  [43]  Xie I,Cool C.Understanding help seeking within the context of searching digital libraries[J].Journal of the American Society for Information Science and Technology,2009,60(3):477-494.
  [44]  Allen Bryce.Topic Knowledge and Online Catalog Search Formulation[J].The Library Quarterly,1991,61(2):188-213.
  [45]  Wu D,Liang S,Xiang X.The Impacts of Mutual Collaboration Experience and Domain Knowledge Levels on CAIS Behavior:An Experimental Study[J].International Journal of Libraries and Information Services,2017,67(1):51-64.
  [46]  上海圖书馆.盛宣杯档案抄录平台[EB/OL].[2019-01-01].http://zb.library.sh.cn.
  [47]  Jung W,Olfman L,Ryan T,et al.An experimental study of the effects of contextual data quality and task complexity on decision performance[C].IRI -2005 IEEE International Conference on Information Reuse and Integration,Conf,2005.IEEE,2005.
  [48]  Fehrenbacher D D,Palit I.A Quasi-Experimental Analysis on the Influence of Satisfaction and Complexity on Information Quality Outcomes[J].Journal of Information Systems,2013,27(2):65-86.
  [49]  Terras M M.Crowdsourcing in the digital humanities[A].Schreibman,S.,Siemens,R.,Unsworth,J.(eds.)A New Companion to Digital Humanities.Wiley-Blackwell,2016:420-439.
  [50]  陈英奇,赵宇翔,朱庆华.科研众包视角下公众科学项目的任务匹配模型研究[J].图书情报知识,2018(3):6-17.
其他文献
摘 要:文章分析和解读了我国近二十年来生态环保、文化等领域的主要政策法律,阐释了参与建设生态文明是新时代赋予图书馆的社会责任。研究认为,图书馆承担的信息职能、教育职能、文化职能、“第三空间”职能赋予了图书馆有义务和权利作为责任主体参与生态文明建设之中。生态文明建设具有多元主体性,图书馆参与其中可以在提供环保信息资源服务、开展环保宣传与教育、传播环保知识信息、建设生态文化、汇聚环保力量、交流生态思想
期刊
摘 要:跨学科科研合作是学术研究的重要形式和趋势,将对未来科学发展产生深远影响,对知识创新和社会进步都具有重要的推动作用。深入研究跨学科科研合作的运行机制,厘清合作中的关键要素和作用机制,有助于推动合作的高效运行和可持续发展。文章以斯坦福大学跨学科研究机构为例,从价值感知与合作氛围、学术交流模式与科研基础设施、团队凝聚力、利益保障机制、宗旨和目标、政策与战略、科研资助、管理模式等八个方面,对组织
期刊
摘 要:第五届中国数字阅读大会发布的《2018年度中国数字阅读白皮书》,从政策、产业与趋势三个方面,为大众全面呈现了2018年度我国数字阅读的发展现状与未来发展态势。图书馆是开展社会阅读的最主要机构,我国图书馆界自2006年以来也一直将阅读推广作为主要工作。对《2018年度中国数字阅读白皮书》进行分析,可为我国图书馆的功能定位、转型变革、阅读推广策略调整等给予启示。  关键词:《2018年度中国
期刊
摘 要:自2009年以来,世界经济频频遭遇欧盟主权债务危机、贸易保护主义、英国脱欧等遏制经济发展的因素干扰,全球经济增速放缓,西方各国纷纷出台财政紧缩政策。预算的削减导致大量图书馆关停、馆员减少、服务时间缩水等情况。为应对危机,2019年欧洲议会选举前夕,欧洲图书情报与文献协会管理局(EBLIDA)与国际图联等5家图书馆组织共同发起并签署了《欧洲图书馆宣言》,呼吁欧洲议会及国际社会关注图书馆在公民
期刊
摘 要:在研究数据共享政策的驱动下,研究数据管理(RDM)成为大学图书馆的一项新使命,为研究数据服务发展和数据馆员新角色的转型提供了契机。文章介绍阐述了英国爱丁堡大学图书馆研究数据管理的现状与最新进展,引入英国研究数据服务前沿发展理念、介绍的案例包括构建研究数据服务的创新模式、融入研究进程与教学环节的支持服务以及合作拓展的特色服务。阐述当前数据馆员的工作内容,包括研究信息工具开发、学术传播与出版及
期刊
摘 要:2019年10月25-27日,由中国人民大学书报资料中心、中国编辑学会学术期刊编辑专委会主办的“图书情报与档案管理科研创新学术研讨会——2019年全国图书情报与档案管理学术期刊高峰论坛”在河北省保定市召开。与会专家、各期刊负责人围绕“新时代图书情报与档案管理学术期刊的创新发展”这一主题进行了深度讨论,并从图书情报与档案管理学科研究的前沿与热点问题、中国特色图书情报与档案管理学科体系构建、学
期刊
摘 要:应急集成信息服務体系是应急管理的重要组成部分和有力支撑,其中科技信息服务是重中之重。文章旨在研究与实践应对突发重大公共卫生事件(即新型冠状病毒肺炎,英文名称为COVID-19)的应急集成知识咨询服务体系及服务模式。分析了此次重大公共卫生事件的信息特点与信息需求,综述了应急信息服务方面的研究进展,在此基础上,构建了面向COVID-19疫情防控的应急集成知识咨询服务体系,包括以大数据信息服务
期刊
摘 要:文章以智库政策影响力概念梳理为基础,结合大量实证案例,揭示了我国智库政策影响力评价中普遍存在“唯批示论”现象。基于政策过程理论,文章通过对CTTI(中国智库索引)中的内参和批示进行文献计量,分析了该现象带来的主要问题,并初步探讨了破除智库评价体系“唯批示论”的方法,以期为新时代中国特色新型智库评价及建设提供参考。  关键词:智库;政策影响力;智库评价体系;唯批示论  中图分类号:D035-
期刊
摘 要:大科学装置和大规模科学基础设施产生的科学数据促进了领域科学研究的新一轮发展,更加驱动了科学研究者之间的创新科研协作。科学数据驱动的科研协作,成为科学研究的新范式和大趋势。第六届中国科学数据大会以“科学数据与重大科研基础设置”为主题,关注科学数据管理与开放共享过程中的政策、方法、技术及基础设施建设等问题。文章以大会分论坛“科学数据驱动的科研协作”内容的梳理和总结为基础,从科学数据驱动的科研协
期刊
摘 要:宗族观念来源于宗法社会制度,以姓氏的特征表现出来,宗族对中国传统社会产生着十分重要的影响。中国西北之地的陇西李氏,历经千年,唐朝李氏当政极大地提升了李氏影响力,并以宗祠形式将天下李氏宗亲凝聚起来。陇西从地域名称固化为一种天下李氏归宗的文化符号,姓氏族谱将各支系连接在一起,成为怀念先祖、弘扬中华传统文化的一个重要纽带。  关键词:宗族;姓氏;陇西李氏;文化符号  中图分类号:K810.2 文
期刊