行政职业能力测验主要在两个方面为公务员的录用与选拔提供决策支持：一是鉴别考生基本能力素质的高低，承担着初筛的任务；二是预测其在职业活动中适应和获得成功的可能性。这两项功能的发挥取决于测验信度的高低，而影响测验信度的潜在误差来源可能有题型、题目数量、题目难度、以及分数合成权重等。本研究依托某次行政职业能力测验正式考试的数据，通过多元概化理论分析，探讨各个分测验的测量信度，并估计了不同分测验对测验总分变异的实际贡献。同时还对比了不同的分数合成权重对整体测量信度的影响，并且探讨了通过题目数量变化、分数权重设置等方式对测量误差的控制效果。结果表明，考生在行政职业能力测验上的猜测情况严重，各分测验的测量信度不甚理想，分数合成权重设置不科学。这些都在很大程度上削弱了考试初筛的功能。