论文部分内容阅读
[摘要]评价中心是人才甄选中最常用的测量工具。大量研究证实，评价中心具有很高的效标关联效度，但结构效度却不太理想。影响评价中心结构效度的因素众多，如评分维度、评价者因素、测评方法等。本文从上述因素出发，综述了评价中心结构效度的最新研究情况，总结了提高评价中心结构效度的措施，并为未来的研究指明方向。
[关键词]评价中心；结构效度
评价中心是是现代人员素质测评的一种新方法，是国际上流行的，准确率较高的人才选拔技术。自1929年德国心理学家建立并用于挑选军官的多项评价程序之后，美国国际电报电话公司在1956年进一步研究以来，评价中心被各国企业组织广泛接收并使用，成为了对管理人员尤其是中高层管理者的选拔、考核、培训的重要技术。
结构效度是指测验分数能说明理论的某种结构或特质的程度。王忠军，龙立荣（2005）认为：评价中心结构效度有3个指标：（1）汇聚效度，指同一评分维度的评分在不同测评方法之间的相关，相关系数越高，说明汇聚效度越好；（2）区分效度，是指同一测评方法内不同评分维度之间评分的区分性，也用相关系数表示，相关越低，说明区分效度越好。越好；（3）总体评价，它反映对被评价人员的绩效的全面性评价，因此除了包含前两个层面的水平外，总体评价还反映了其它来源的信息，例如同伴评价、人格测量、能力测验分等。几十年来，各国学者对评价中心结构效度做了大量的研究，主要表现在以下两个方面：
一、结构效度的评估存在测评方法效应
评价中心结构效度的验证方法主要有多质多法和验证性因素分析。Campbell和Fiske（1959）提出了分析结构效度的多质多法，这种方法把测评维度看成特质，把测评情景看成是方法。Kolk，Born等人（2004）采用MTMM对评价中心结构效度进行分析时发现，异质同法间的相关平均值为0.23，同质异法间的相关平均值为0.5。吴志明、张厚集（2001）的研究发现，异质同法的相关平均值0.455，同质异法相关平均值为0.110，这些研究结果都表明评价中心缺乏会聚效度和区分效度。验证性因素分析是根据潜在的结构而不是可观测的变量对MTMM进行解释。通过拟合不同的模型，并对其进行验证，然后选取拟合最好的一种模型加以分析。从而实现了对测验误差和相关的变量的控制，其最大优点在于能对因素的负荷进行固定。Sackett与Harris（1988）采用验证性因素分析表明：评价中心的评分主要是测评情景（方法）导向。Lance（2000）研究也支持了Sackett与Harris的研究结果。吴志明、张厚集（2001）采用验证性因素分析结果表明：测评方法而不是测评维度影响了评价中心的评分。
二、结构效度的评估存在测评维度效应
Neiding（1984）在研究中发现了中等程度的同质异法间相关，即在评价中心中发现了会聚效度，但同时也发现这些相关都明显都低于异质同法间的相关，且光环效应、区分效度低的现象在研究中也存在。同时，Shore和Thornton（1990）在研究中也得到了类似的研究结果。他们认为评价中心主要是以测评维度为导向。
三、结构效度的影响因素
多数研究表明，结构效度的影响因素主要是评分维度、评分方法以及评价者三个方面。Russel（1985）的研究表明，评价中心的维度过多容易产生晕轮效应。Gaugler，Thornton（1989）的研究结果表明，使用3个维度时，对行为分类和评分的准确度最高；而使用6个维度时，行为观察准确度最高。吴志明（1999）的研究表明，评分维度为3个和6个时，评分者的评分一致性都很高，而评分维度为9个时，评分者的评分一致性会有很大的下降。Sackett等（1982）的研究表明：评价中心结构效度评分方法一般有维度内评估方法和情景内评估方法两种。前者指测评对象参加完所有的情景测验后，然后对其所有的维度综合进行评估的方法，后者是指测评对象参加完每一种情景测验后，分别对每一种情景中的维度进行评估，此方法中，不同情景中的测评师可以是相同的，也可以是不同的。维度内评分方法比情景内评分方法产生较高的汇聚效度和区分效度。比如：silverman，Dalessio等（1986）的研究表明，维度内评估方法比情景内评估方法有更高的汇聚和区分效度。Woehr，Arthu （2003）对评价中心结构效度方法学因素的元分析表明，用维度内评估方法进行评估比用情景内评估方法能产生更高的汇聚效度。已有研究表明测评师是否经过培训、测评人员的类型等对结构效度产生重要的影响。例如：Arthur，Woehr，Maldegen（2000）的研究表明，对测评师进行培训后，没有发现培训程序有助于形成测评师的内部一致性，但却发现有助于提高评价中心维度评估的汇聚效度和区分效度。Klimoski（2001）提出了两个理论模型，帮助理解测评师和评估过程是怎样影响评价中心结构测量的质量。第一个模型指出，测评师拥有有限的信息加工能力，因此并不总是能够满足评价中心操作的认知需要。第二个模型指出新手和专家在评估质量上的差异会导致评估质量的不同。Lievens（2002）研究验证了测评师和测评对象在评价中心结构效度上的影响。
四、提高评价中心结构效度的措施
为了使评价中心具有较好的汇聚效度和区分效度。首先，可以考虑从评价中心的设计、实施、评分加以展开。其次，以往的研究将评价中心的结构效度和效标关联效度分开进行，未来的研究考虑是否进行整合性研究，例如，具有良好结构效度的评价中心是否同样具有较好的效标关联效度？具有良好的效标关联效度是否具有较好的结构效度。再次，研究方法上亟待完善，比如：将多质多法、验证性因素分析、概化理论结合起来共同研究评价中心的结构效度。
参考文献
[1]王忠军，龙立荣.评价中心的结构效度研究.心理科学进展[J].2005，14（3）：426-432.
[2]吴志明，张厚案.评价中心的构想效度和结构模型[J].心理学报，2001，33（4）：372一378.
[3]吴志明.评价中心的心理测量学研究[D].北京师范大学博士论文，1999. 33-39
[4]骆方，孟庆茂.不同类型的测评维度对评价中心结构效度的影响研究.心理科学，2005，28（6）：1437-1439.
[关键词]评价中心；结构效度
评价中心是是现代人员素质测评的一种新方法，是国际上流行的，准确率较高的人才选拔技术。自1929年德国心理学家建立并用于挑选军官的多项评价程序之后，美国国际电报电话公司在1956年进一步研究以来，评价中心被各国企业组织广泛接收并使用，成为了对管理人员尤其是中高层管理者的选拔、考核、培训的重要技术。
结构效度是指测验分数能说明理论的某种结构或特质的程度。王忠军，龙立荣（2005）认为：评价中心结构效度有3个指标：（1）汇聚效度，指同一评分维度的评分在不同测评方法之间的相关，相关系数越高，说明汇聚效度越好；（2）区分效度，是指同一测评方法内不同评分维度之间评分的区分性，也用相关系数表示，相关越低，说明区分效度越好。越好；（3）总体评价，它反映对被评价人员的绩效的全面性评价，因此除了包含前两个层面的水平外，总体评价还反映了其它来源的信息，例如同伴评价、人格测量、能力测验分等。几十年来，各国学者对评价中心结构效度做了大量的研究，主要表现在以下两个方面：
一、结构效度的评估存在测评方法效应
评价中心结构效度的验证方法主要有多质多法和验证性因素分析。Campbell和Fiske（1959）提出了分析结构效度的多质多法，这种方法把测评维度看成特质，把测评情景看成是方法。Kolk，Born等人（2004）采用MTMM对评价中心结构效度进行分析时发现，异质同法间的相关平均值为0.23，同质异法间的相关平均值为0.5。吴志明、张厚集（2001）的研究发现，异质同法的相关平均值0.455，同质异法相关平均值为0.110，这些研究结果都表明评价中心缺乏会聚效度和区分效度。验证性因素分析是根据潜在的结构而不是可观测的变量对MTMM进行解释。通过拟合不同的模型，并对其进行验证，然后选取拟合最好的一种模型加以分析。从而实现了对测验误差和相关的变量的控制，其最大优点在于能对因素的负荷进行固定。Sackett与Harris（1988）采用验证性因素分析表明：评价中心的评分主要是测评情景（方法）导向。Lance（2000）研究也支持了Sackett与Harris的研究结果。吴志明、张厚集（2001）采用验证性因素分析结果表明：测评方法而不是测评维度影响了评价中心的评分。
二、结构效度的评估存在测评维度效应
Neiding（1984）在研究中发现了中等程度的同质异法间相关，即在评价中心中发现了会聚效度，但同时也发现这些相关都明显都低于异质同法间的相关，且光环效应、区分效度低的现象在研究中也存在。同时，Shore和Thornton（1990）在研究中也得到了类似的研究结果。他们认为评价中心主要是以测评维度为导向。
三、结构效度的影响因素
多数研究表明，结构效度的影响因素主要是评分维度、评分方法以及评价者三个方面。Russel（1985）的研究表明，评价中心的维度过多容易产生晕轮效应。Gaugler，Thornton（1989）的研究结果表明，使用3个维度时，对行为分类和评分的准确度最高；而使用6个维度时，行为观察准确度最高。吴志明（1999）的研究表明，评分维度为3个和6个时，评分者的评分一致性都很高，而评分维度为9个时，评分者的评分一致性会有很大的下降。Sackett等（1982）的研究表明：评价中心结构效度评分方法一般有维度内评估方法和情景内评估方法两种。前者指测评对象参加完所有的情景测验后，然后对其所有的维度综合进行评估的方法，后者是指测评对象参加完每一种情景测验后，分别对每一种情景中的维度进行评估，此方法中，不同情景中的测评师可以是相同的，也可以是不同的。维度内评分方法比情景内评分方法产生较高的汇聚效度和区分效度。比如：silverman，Dalessio等（1986）的研究表明，维度内评估方法比情景内评估方法有更高的汇聚和区分效度。Woehr，Arthu （2003）对评价中心结构效度方法学因素的元分析表明，用维度内评估方法进行评估比用情景内评估方法能产生更高的汇聚效度。已有研究表明测评师是否经过培训、测评人员的类型等对结构效度产生重要的影响。例如：Arthur，Woehr，Maldegen（2000）的研究表明，对测评师进行培训后，没有发现培训程序有助于形成测评师的内部一致性，但却发现有助于提高评价中心维度评估的汇聚效度和区分效度。Klimoski（2001）提出了两个理论模型，帮助理解测评师和评估过程是怎样影响评价中心结构测量的质量。第一个模型指出，测评师拥有有限的信息加工能力，因此并不总是能够满足评价中心操作的认知需要。第二个模型指出新手和专家在评估质量上的差异会导致评估质量的不同。Lievens（2002）研究验证了测评师和测评对象在评价中心结构效度上的影响。
四、提高评价中心结构效度的措施
为了使评价中心具有较好的汇聚效度和区分效度。首先，可以考虑从评价中心的设计、实施、评分加以展开。其次，以往的研究将评价中心的结构效度和效标关联效度分开进行，未来的研究考虑是否进行整合性研究，例如，具有良好结构效度的评价中心是否同样具有较好的效标关联效度？具有良好的效标关联效度是否具有较好的结构效度。再次，研究方法上亟待完善，比如：将多质多法、验证性因素分析、概化理论结合起来共同研究评价中心的结构效度。
参考文献
[1]王忠军，龙立荣.评价中心的结构效度研究.心理科学进展[J].2005，14（3）：426-432.
[2]吴志明，张厚案.评价中心的构想效度和结构模型[J].心理学报，2001，33（4）：372一378.
[3]吴志明.评价中心的心理测量学研究[D].北京师范大学博士论文，1999. 33-39
[4]骆方，孟庆茂.不同类型的测评维度对评价中心结构效度的影响研究.心理科学，2005，28（6）：1437-1439.