人才测评中,评判一项工具优劣的测量指标包括信度和效度(效度又分为内容效度、构思效度和效标关联效度)。单独对公文筐测验构思效度进行研究的文献比较少,更多的是在评价中心中来考察构思效度问题。然而国外采用探索性因素分析、多特征多方法以及验证性因素分析等方法对评价中心是否具有构思效度进行检验,至今未能达成共识。在国内公文筐测验研究尚处于起步阶段,尽管已有研究对构思问题进行了一些初步探讨,但其理论支撑和分析方法比较局限。本研究采用胜任力理论和特征激活理论建构了公文筐测评构思体系。在此基础上,一方面采用概化理论的方差分量分析程序(G研究)检验公文筐的构思效度;同时运用多元概化理论的D研究,通过改变任务情景数目和评分者数目,优化公文筐测评方案。另一方面运用诺莫网技术分析公文筐测验构思特征与其他测评方法的差异;同时探索公文筐测验对其他测评方法的增量效度,优化人才测评工具的组合效应。最后得出以下几个结论:(1)特征激活理论是捕捉公文筐测评构思有效的理论和方法指导。采用特征激活理论对特质—测验任务相关性评价与任职要求评价进行相关分析,发现两者在计划组织、综合分析等能力上具有显著相关,从而建构公文筐测评构思体系。(2)概化研究的方差分量分析发现,公文筐测验被试、维度以及被试与维度交互作用带来的方差分量较大,而评分者、任务、评分者与任务以及维度与任务交互作用带来的方差分量较小,表示具有一定的构思效度。(3)公文筐测验的多元概化D研究发现,本次公文筐测验任务数量以8-12份公文比较合适;评分者数量为3-4名时,公文筐测验信度能达到比较好的水平。(4)逐步多元回归分析表明,认知能力对公文筐测验得分有显著的影响作用,而大五个性特征对其则没有显著的影响作用。结合相关分析,我们推测一般认知能力更可能是公文筐测验的前因变量,而不是公文筐测验自身的构思。(5)层次回归分析表明,公文筐测验对认知能力测验、个性测验都具有增量效度。另外对不同的效标,测评工具组合所产生的增量存在差异,当以任务绩效和总体绩效作为效标时,公文筐测验对认知测验、个性测验能产生较大的增量。