教育教学强调合作学习中学生互评的重要性,倡导自主、合作、探究的学习方式,而信息技术作品作为一种开放性试题作品,有着明显的能力梯度,答案和结论都具有较强的开放性,学生在互评时由于个人主观性会导致评价结果差异性较大,评分信度低。因此,寻求一种信度较高的评价方式是目前至关重要的问题。SOLO分类法是澳大利亚心理学家比格斯(Biggs)教授首倡的一种质性研究方法,这种方法是以等级描述为特征。SOLO分类法不仅能判断学生在回答问题时的思维结构,还能测试出更高层次的学习水平,它为开放性试题的评分提供了一种更有效的方法。鉴于其自身的优越性,能够满足信息技术作品的评价需求,改善学生互评中出现的评价不一致性问题。本研究在已有的研究基础上,以Photoshop信息技术作品为例,考察了将SOLO理论应用于信息技术作品评价上的评分人评价信度。本文在查阅了解SOLO理论与评分信度的相关文献后,使用了比较分析的研究方法,运用SOLO分类评价法对信息技术作品进行评价,并以传统评价方法为参照方法,展开探讨两种方法对评分人信度的影响,评分结果一致性如何。实验设计五名评分人运用两种评价标准前后两次对一个班级42名学生的Photoshop信息技术作品进行评分,运用Kendall和谐系数、Sperman相关系数等多种统计方法计算评分人信度,通过分析评分人内部一致性和评分人之间的评分一致性来考察评分人的评价信度。实验结果表明,基于SOLO分类法的信息技术作品评价有较高的一致性与一定的稳定性,整体的评分人信度相关性显著并高于传统评价方式的相关系数。