论文部分内容阅读
［摘要］在采用多元主体评估课堂教学质量时，各类主体的评估结果在总评估中所占权重的确定，是一个十分重要的问题。运用层次分析法进行定性和定量研究，可以综合全体被评估教师的意见来确定评估权重，使评估结果更具公正性、合理性和科学性，更容易让被评估教师接受和信服，从而更好地发挥评估活动对提高课堂教学质量的激励作用。
［关键词］课堂教学质量评估 层次分析法
［作者简介］李黎（1968- ），女，浙江东阳人，绍兴文理学院教育学院副院长，副教授，硕士；谢敏芳（1979- ），女，浙江杭州人，绍兴文理学院教育学院，讲师，硕士。（浙江 绍兴 312000）
［中图分类号］G717［文献标识码］A［文章编号］1004-3985（2011）06-0185-03
开展课堂教学质量评估是教育体制改革的基本要求。然而，设计一套科学合理的评估方案，并不是一件容易的事。现行课堂教学质量评估一般有以下几种做法：一是突出学生的主体作用，以“学评教”为主；二是突出专家的作用，成立校、学院、系三级督导组，对教师实行听课评分；三是综合学生和督导组的意见，以一定的权重进行综合评判。三种方法各有利弊。如学评教的信度问题。“学评教”的目的能否实现，与学生对这种评价方式的认同度有关。如果缺乏认同度，就缺乏参与的积极性，评价的信度就会大打折扣。实践表明，有的学生对评价条款不仔细阅读、盲目评教。有的学生认为评价与他们无关，看不到评价的反馈作用，随便应付或干脆逃避评教。还有的学生可能会故意错误评教，受到过批评者、考试作弊被抓者、上一学期考试不合格者会对其“不好”的老师以较低评价，而对他们要求不甚严格、考试又容易过关、迎合学生的老师以较高评价。再如督导组评价的效度问题。督导组成员一般是教学经验丰富的骨干教师，或兼有行政职务的校级、院级领导、教研室主任，本身有教学任务和科研任务，评价一个教师的教学质量往往凭借的是1～2节课的听课情况。如果要求听课节数增加，无疑会加大专家的工作量，使他们不堪重负，导致听课质量下降，据此得出的教师评价得分的效度就值得怀疑了。还有综合几类评价结果的权重问题。实践表明，综合几个评价主体的结果有利于提高评价的信度和效度。但综合时的权重如何确定，是一个值得思考的问题。
一般认为，采用多元主体评估方案，可以修正单一评估的误差，如可以有效避免单一“学评教”体系下一些教师为了评分去迎合学生的做法，也可以有效减少单一“专家评估”体系下产生的“人情误差”。但在多元主体评估方案中，各类主体的评估结果在总评估中所占权重的确定，是一个十分重要的问题。实际工作中，有的通过简单的调查确定一个折中的比例，有的直接由一两个领导说了算。权重数值上的差异可能会导致相差甚远的结论，在评估结果与被评估者的切身利益挂钩的情况下，权重确定方法的简单化、随意化，有可能导致最终的评估结果不能让被评估者信服，从而影响评估作用的发挥。可见，权重的确定是一项技术性很强的工作，权重的科学性直接影响着评估结果的优劣程度。
一、层次分析法的基本思路
层次分析法（The Analytic Hierarchy Process，简称AHP）是一种定性与定量分析相结合的多目标决策分析方法，它将与决策问题有关的元素分解成目标、准则、方案等层次，利用较少的定量信息使决策的思维过程数学化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法。它改变了以往最优化技术只能处理定量分析问题的传统观念，而率先进入了长期滞留在定性分析水平上的许多科学研究的领地，提供了对非定量事件做定量分析的方法。AHP的理论核心是通过分析复杂系统的有关要素及其相互关系，将系统简化为有序的递进层次结构，使这些要素归并为不同的层次，在每一层次，可按其上一层的某一准则或要素，对该层要素进行两两相对比较，建立判断矩阵；通过计算判断矩阵的最大特征根及对应的正交特征向量，得出该层要素对于该准则的权重，最后计算出多层次要素对于总体目标的组合权重，为决策和评估提供依据。
AHP方法的基本思想是先按研究问题的要求，建立一个描述系统功能或特征的内部独立的递阶层次的结构，通过两两比较因素（目标、标准、方案）的相对重要性，构造出上层某元素对下层相关元素的判断矩阵B，计算出本层次元素与上一层某元素有联系的重要性次序的权值，称为层次单排序。层次单排序归结为计算B的特征值和特征向量，即对B，计算BW=λmaxW的特征根与特征向量。式中的λmax为B的最大特征根；W为对应于λmax的正规化特征向量。W的分量Wi即为相应元素单排序的权值。此外，尚需进行判断矩阵的一致性检验。为此，需要计算一致性指标C.I.，C.I.=（λmax-n）/（n-1）。C.I.值越小，表明判断矩阵的一致性越高。
课堂教学质量评估中比较合理的是多元主体的评估方案。各评估主体评估结果在总评估中权重的确定，可以用层次分析法进行定性和定量研究。这一研究的基本思路是：用问卷调查法调查所有被评估教师对各评估主体权重的意见，汇总后用层次分析法进行数据处理和检验，从而得出各评估主体的权重系数。
二、层次分析法的运用举例
下面以绍兴文理学院某学院教师课堂教学质量评估中三类评估主体权重系数的确定为例，来说明层次分析法在课堂教学质量评估中的运用。
1.确定评估主体。本次课堂教学质量评估的评估主体有三类：A1为外聘督导，主要是通过听课综合评估课堂教学质量，按理论和实践两类课程的标准分别评估；A2为本院督导，主要是对教师遵守教学常规的情况进行评估，包括检查和评估课堂教学纸质材料、上课制度、作业批改、试卷批阅等；A3为学生，主要测评课程满意度，采用“背靠背”评教方式。
2.进行问卷调查。问卷调查的目的是收集所有被评估教师对三类评估主体在课堂教学质量评估中的重要性的意见。方法是：填写表1，以列中的因素为基础，把它与行中的指标逐一比较，若认为列因素的重要性超过所比较的行因素的重要性，就填上相应的数字。“1”表示“同等重要”；“3”表示“稍微重要”；“5”表示“明显重要”；“7”表示“非常重要”；“9”表示“极端重要”，2、4、6、8表示上述两个相邻判断的中值。若认为列因素不如相应的行因素重要，则以相应程度的倒数值表示。如1/3、1/5、1/7等。例如，若认为“A3学生测评课程满意度”比“A2本院督导常规检查”明显重要，则在例1位置填5，若认为“A3学生测评课程满意度”不如“A1外聘督导综合评估”重要，“A1外聘督导综合评估”比“A3学生测评课程满意度”稍微重要，则在例2位置填1/3。
3.汇总教师意见，构建原始矩阵。汇总全体教师的意见，求出平均值。认为“A3比A2”重要的平均数是3.6431 、認为“A3比A1”重要的平均数是2.7793、认为“A2比A1”重要的平均数是1.4006。
则可以构建如下判断矩阵：
经过列归一化处理后，得如下矩阵：
求各行的平均值，得，A3权重=0.609498，A2权重=0.208339，A1权重=0.182163。
4.进行结果检验。用A3（0.609498），A2（0.208339），A1（0.182163）去乘原始矩阵中的各列，得
得λmax＝（3.075918+3.027652+3.020438）/3=3.041336
一致性指标C.I.===0.020668
而当N=3时，平均随机一致性指标R.I.=0.58，则一致性比例
C.R. = ==0.035634?仔10%
所以具有良好的一致性。
5.得出权重系数结论。A3（学生）测评的权重=0.609498；A2（本院督导）常规检查的权重=0.208339；A1（外聘督导）评估的权重=0.182163。
三、运用层次分析法的几点思考
1.层次分析法有无标度和有标度两种。无标度的层次分析法在调查时只要求教师判断“列因素和行因素比较何者重要”“在认为重要的因素上划√”，但不要求判断“列因素的重要性超过所比较的行因素的重要性”的程度，而有标度的层次分析法则要求判断重要性的程度。所以，用1～9的数字来表达重要性程度的“有标度的层次分析法”获得的结果比较精确。层次分析法的标度有0～2三标度法、-1～1三标度法、-2～2五标度法、1～9九标度法等，还有学者提出了更为复杂的9/9～9/1、10/10～18/2等分数标度法和90/9~99/9等指数标度法。采用的标度不同，不仅会得到不同的权重，甚至会得出不同的排序。骆正清（2003）考察了各种标度的保序性、判断一致性、标度均匀性、标度可记忆性、标度可感知性（即是否便于把握和实际操作）、标度权重拟合性等，认为1～9 九标度法的标度均匀性最好，1～9 九标度法的标度值便于记忆、易于把握，其标度值可记忆性和可感知性最好，但一致性较差。因此本研究采用的是九标度法，但需进行一致性检验。
2.层次分析法的利弊。层次分析法的成功之处在于克服了人为的主观偏见和期望对权重分配的影响，用群组的判断方式，把经验的认识与数理方法结合起来，使计算结果比较客观、公正、科学、合理，所得结果比较有说服力。用层次分析法计算本文示例的权重系数，从计算结果看，三类评估主体学生、本院督导、外聘督导的权重分别为0.61、0.21、0.18，较好体现了高校课堂教学应以学生为中心、以学生满意为基本要求的理念。从事后调查的情况看，被评估教师对这一权重系数的确定普遍比较满意，也比较信服。
但应该看到，对于定性问题的定量研究本身就存在很多主观因素，比如评估主体的确定问题，为什么确定为三个主体而不是两个或四个主体，这就必然带有经验的成分。层次分析法只是提供一种数据处理的技术，充其量是把现有数据所包含的信息科学合理地表达出来，至于数据来源的客观性和准确性则无法把握。
3.层次分析法中各因素重要性的调查对象应该是同学科、具有可比性的。同一学科的教师，他们涉及的教学内容、专业建设、课程设计等均属于同一层次范围，岗位职责标准差不多，具有可比性，评估结果才有意义。专业不同、工作内容相差太大的话，评估意义不大，效果不明显。
4.用层次分析法确定权重还可以扩展到各个二级指标的系数确定中。如上例A2本院督导检查教学常规，可以细分为C1态度、C2纪律、C3事故三个二级指标；A3学生测评教学效果，可以细分为D1网上測评、D2纸质测评两个二级指标。每个二级指标的权重仍可以用类似的有标度层次分析法确定，各个二级指标的权重分别乘以0.61、0.21、0.18的系数即为各个二级指标在教师课堂教学评估方案中的最后权重。
采用多元评价主体构建课堂教学质量评估体系，可以修正单一评价的误差。层次分析法提供了一种科学合理地确定各个评价主体占总评价结论的权重的方法，是一种值得借鉴的方法。但也应该看到，没有一种评估体系是“十全十美”的。层次分析法只能解决各评价主体在总体评价结论中的合理权重问题，而不能解决评价体系本身是否科学和各评价主体的评价是否合理等问题。如在本研究所涉及的多元评价体系中，学生在评价时一般不会全面考虑教师职称高低、教龄长短等因素，可能会使年轻教师感到有较大压力；外聘督导只凭听1～2节课作出评价，必然带有偶然误差；教学常规检查纳入到评价体系中，虽可提高教学管理的效率，但还是不可避免存在“人情效应”。这些问题如何解决，有待在教学评价和管理实践中不断探索和完善。
［参考文献］
［1］徐燕飞.无标度的层次分析法在教育评估中的运用［J］.广西工学院学报，1999（1）.
［2］程艳艳.对高校课堂教学质量评估工作的探讨［J］.长春大学学报，2006（12）.
［3］李秀敏.课程质量的模糊综合评价［J］.广西工学院学报，2000（3）.
［4］王大将.一种新的多指标综合评价方法［J］.统计与决策，2007（7）.
［5］杨毅.层次分析法（AHP）中生成判断矩阵简易算法及其应用［J］.衡阳师范学院学报，2009（3）.
［6］张峰.模糊综合评判和层次分析法在高校教学评价中的运用［J］.长春师范学院学报，2006（6）.
［7］谢娟.层次分析法在高校教师绩效考核中的应用［J］.中国电力教育，2009（3）.
［8］骆正清，杨善林.层次分析法中几种标度的比较［J］.系统工程理论与实践，2004（9）.
［关键词］课堂教学质量评估 层次分析法
［作者简介］李黎（1968- ），女，浙江东阳人，绍兴文理学院教育学院副院长，副教授，硕士；谢敏芳（1979- ），女，浙江杭州人，绍兴文理学院教育学院，讲师，硕士。（浙江 绍兴 312000）
［中图分类号］G717［文献标识码］A［文章编号］1004-3985（2011）06-0185-03
开展课堂教学质量评估是教育体制改革的基本要求。然而，设计一套科学合理的评估方案，并不是一件容易的事。现行课堂教学质量评估一般有以下几种做法：一是突出学生的主体作用，以“学评教”为主；二是突出专家的作用，成立校、学院、系三级督导组，对教师实行听课评分；三是综合学生和督导组的意见，以一定的权重进行综合评判。三种方法各有利弊。如学评教的信度问题。“学评教”的目的能否实现，与学生对这种评价方式的认同度有关。如果缺乏认同度，就缺乏参与的积极性，评价的信度就会大打折扣。实践表明，有的学生对评价条款不仔细阅读、盲目评教。有的学生认为评价与他们无关，看不到评价的反馈作用，随便应付或干脆逃避评教。还有的学生可能会故意错误评教，受到过批评者、考试作弊被抓者、上一学期考试不合格者会对其“不好”的老师以较低评价，而对他们要求不甚严格、考试又容易过关、迎合学生的老师以较高评价。再如督导组评价的效度问题。督导组成员一般是教学经验丰富的骨干教师，或兼有行政职务的校级、院级领导、教研室主任，本身有教学任务和科研任务，评价一个教师的教学质量往往凭借的是1～2节课的听课情况。如果要求听课节数增加，无疑会加大专家的工作量，使他们不堪重负，导致听课质量下降，据此得出的教师评价得分的效度就值得怀疑了。还有综合几类评价结果的权重问题。实践表明，综合几个评价主体的结果有利于提高评价的信度和效度。但综合时的权重如何确定，是一个值得思考的问题。
一般认为，采用多元主体评估方案，可以修正单一评估的误差，如可以有效避免单一“学评教”体系下一些教师为了评分去迎合学生的做法，也可以有效减少单一“专家评估”体系下产生的“人情误差”。但在多元主体评估方案中，各类主体的评估结果在总评估中所占权重的确定，是一个十分重要的问题。实际工作中，有的通过简单的调查确定一个折中的比例，有的直接由一两个领导说了算。权重数值上的差异可能会导致相差甚远的结论，在评估结果与被评估者的切身利益挂钩的情况下，权重确定方法的简单化、随意化，有可能导致最终的评估结果不能让被评估者信服，从而影响评估作用的发挥。可见，权重的确定是一项技术性很强的工作，权重的科学性直接影响着评估结果的优劣程度。
一、层次分析法的基本思路
层次分析法（The Analytic Hierarchy Process，简称AHP）是一种定性与定量分析相结合的多目标决策分析方法，它将与决策问题有关的元素分解成目标、准则、方案等层次，利用较少的定量信息使决策的思维过程数学化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法。它改变了以往最优化技术只能处理定量分析问题的传统观念，而率先进入了长期滞留在定性分析水平上的许多科学研究的领地，提供了对非定量事件做定量分析的方法。AHP的理论核心是通过分析复杂系统的有关要素及其相互关系，将系统简化为有序的递进层次结构，使这些要素归并为不同的层次，在每一层次，可按其上一层的某一准则或要素，对该层要素进行两两相对比较，建立判断矩阵；通过计算判断矩阵的最大特征根及对应的正交特征向量，得出该层要素对于该准则的权重，最后计算出多层次要素对于总体目标的组合权重，为决策和评估提供依据。
AHP方法的基本思想是先按研究问题的要求，建立一个描述系统功能或特征的内部独立的递阶层次的结构，通过两两比较因素（目标、标准、方案）的相对重要性，构造出上层某元素对下层相关元素的判断矩阵B，计算出本层次元素与上一层某元素有联系的重要性次序的权值，称为层次单排序。层次单排序归结为计算B的特征值和特征向量，即对B，计算BW=λmaxW的特征根与特征向量。式中的λmax为B的最大特征根；W为对应于λmax的正规化特征向量。W的分量Wi即为相应元素单排序的权值。此外，尚需进行判断矩阵的一致性检验。为此，需要计算一致性指标C.I.，C.I.=（λmax-n）/（n-1）。C.I.值越小，表明判断矩阵的一致性越高。
课堂教学质量评估中比较合理的是多元主体的评估方案。各评估主体评估结果在总评估中权重的确定，可以用层次分析法进行定性和定量研究。这一研究的基本思路是：用问卷调查法调查所有被评估教师对各评估主体权重的意见，汇总后用层次分析法进行数据处理和检验，从而得出各评估主体的权重系数。
二、层次分析法的运用举例
下面以绍兴文理学院某学院教师课堂教学质量评估中三类评估主体权重系数的确定为例，来说明层次分析法在课堂教学质量评估中的运用。
1.确定评估主体。本次课堂教学质量评估的评估主体有三类：A1为外聘督导，主要是通过听课综合评估课堂教学质量，按理论和实践两类课程的标准分别评估；A2为本院督导，主要是对教师遵守教学常规的情况进行评估，包括检查和评估课堂教学纸质材料、上课制度、作业批改、试卷批阅等；A3为学生，主要测评课程满意度，采用“背靠背”评教方式。
2.进行问卷调查。问卷调查的目的是收集所有被评估教师对三类评估主体在课堂教学质量评估中的重要性的意见。方法是：填写表1，以列中的因素为基础，把它与行中的指标逐一比较，若认为列因素的重要性超过所比较的行因素的重要性，就填上相应的数字。“1”表示“同等重要”；“3”表示“稍微重要”；“5”表示“明显重要”；“7”表示“非常重要”；“9”表示“极端重要”，2、4、6、8表示上述两个相邻判断的中值。若认为列因素不如相应的行因素重要，则以相应程度的倒数值表示。如1/3、1/5、1/7等。例如，若认为“A3学生测评课程满意度”比“A2本院督导常规检查”明显重要，则在例1位置填5，若认为“A3学生测评课程满意度”不如“A1外聘督导综合评估”重要，“A1外聘督导综合评估”比“A3学生测评课程满意度”稍微重要，则在例2位置填1/3。
3.汇总教师意见，构建原始矩阵。汇总全体教师的意见，求出平均值。认为“A3比A2”重要的平均数是3.6431 、認为“A3比A1”重要的平均数是2.7793、认为“A2比A1”重要的平均数是1.4006。
则可以构建如下判断矩阵：
经过列归一化处理后，得如下矩阵：
求各行的平均值，得，A3权重=0.609498，A2权重=0.208339，A1权重=0.182163。
4.进行结果检验。用A3（0.609498），A2（0.208339），A1（0.182163）去乘原始矩阵中的各列，得
得λmax＝（3.075918+3.027652+3.020438）/3=3.041336
一致性指标C.I.===0.020668
而当N=3时，平均随机一致性指标R.I.=0.58，则一致性比例
C.R. = ==0.035634?仔10%
所以具有良好的一致性。
5.得出权重系数结论。A3（学生）测评的权重=0.609498；A2（本院督导）常规检查的权重=0.208339；A1（外聘督导）评估的权重=0.182163。
三、运用层次分析法的几点思考
1.层次分析法有无标度和有标度两种。无标度的层次分析法在调查时只要求教师判断“列因素和行因素比较何者重要”“在认为重要的因素上划√”，但不要求判断“列因素的重要性超过所比较的行因素的重要性”的程度，而有标度的层次分析法则要求判断重要性的程度。所以，用1～9的数字来表达重要性程度的“有标度的层次分析法”获得的结果比较精确。层次分析法的标度有0～2三标度法、-1～1三标度法、-2～2五标度法、1～9九标度法等，还有学者提出了更为复杂的9/9～9/1、10/10～18/2等分数标度法和90/9~99/9等指数标度法。采用的标度不同，不仅会得到不同的权重，甚至会得出不同的排序。骆正清（2003）考察了各种标度的保序性、判断一致性、标度均匀性、标度可记忆性、标度可感知性（即是否便于把握和实际操作）、标度权重拟合性等，认为1～9 九标度法的标度均匀性最好，1～9 九标度法的标度值便于记忆、易于把握，其标度值可记忆性和可感知性最好，但一致性较差。因此本研究采用的是九标度法，但需进行一致性检验。
2.层次分析法的利弊。层次分析法的成功之处在于克服了人为的主观偏见和期望对权重分配的影响，用群组的判断方式，把经验的认识与数理方法结合起来，使计算结果比较客观、公正、科学、合理，所得结果比较有说服力。用层次分析法计算本文示例的权重系数，从计算结果看，三类评估主体学生、本院督导、外聘督导的权重分别为0.61、0.21、0.18，较好体现了高校课堂教学应以学生为中心、以学生满意为基本要求的理念。从事后调查的情况看，被评估教师对这一权重系数的确定普遍比较满意，也比较信服。
但应该看到，对于定性问题的定量研究本身就存在很多主观因素，比如评估主体的确定问题，为什么确定为三个主体而不是两个或四个主体，这就必然带有经验的成分。层次分析法只是提供一种数据处理的技术，充其量是把现有数据所包含的信息科学合理地表达出来，至于数据来源的客观性和准确性则无法把握。
3.层次分析法中各因素重要性的调查对象应该是同学科、具有可比性的。同一学科的教师，他们涉及的教学内容、专业建设、课程设计等均属于同一层次范围，岗位职责标准差不多，具有可比性，评估结果才有意义。专业不同、工作内容相差太大的话，评估意义不大，效果不明显。
4.用层次分析法确定权重还可以扩展到各个二级指标的系数确定中。如上例A2本院督导检查教学常规，可以细分为C1态度、C2纪律、C3事故三个二级指标；A3学生测评教学效果，可以细分为D1网上測评、D2纸质测评两个二级指标。每个二级指标的权重仍可以用类似的有标度层次分析法确定，各个二级指标的权重分别乘以0.61、0.21、0.18的系数即为各个二级指标在教师课堂教学评估方案中的最后权重。
采用多元评价主体构建课堂教学质量评估体系，可以修正单一评价的误差。层次分析法提供了一种科学合理地确定各个评价主体占总评价结论的权重的方法，是一种值得借鉴的方法。但也应该看到，没有一种评估体系是“十全十美”的。层次分析法只能解决各评价主体在总体评价结论中的合理权重问题，而不能解决评价体系本身是否科学和各评价主体的评价是否合理等问题。如在本研究所涉及的多元评价体系中，学生在评价时一般不会全面考虑教师职称高低、教龄长短等因素，可能会使年轻教师感到有较大压力；外聘督导只凭听1～2节课作出评价，必然带有偶然误差；教学常规检查纳入到评价体系中，虽可提高教学管理的效率，但还是不可避免存在“人情效应”。这些问题如何解决，有待在教学评价和管理实践中不断探索和完善。
［参考文献］
［1］徐燕飞.无标度的层次分析法在教育评估中的运用［J］.广西工学院学报，1999（1）.
［2］程艳艳.对高校课堂教学质量评估工作的探讨［J］.长春大学学报，2006（12）.
［3］李秀敏.课程质量的模糊综合评价［J］.广西工学院学报，2000（3）.
［4］王大将.一种新的多指标综合评价方法［J］.统计与决策，2007（7）.
［5］杨毅.层次分析法（AHP）中生成判断矩阵简易算法及其应用［J］.衡阳师范学院学报，2009（3）.
［6］张峰.模糊综合评判和层次分析法在高校教学评价中的运用［J］.长春师范学院学报，2006（6）.
［7］谢娟.层次分析法在高校教师绩效考核中的应用［J］.中国电力教育，2009（3）.
［8］骆正清，杨善林.层次分析法中几种标度的比较［J］.系统工程理论与实践，2004（9）.