论文部分内容阅读
摘要：实践教学评价指标及其权重的确定是对实践教学质量评价的前提，文章运用层次分析法结合模糊评价法，分析实践教学评价指标的权重。计算结果表明，建立的所有判断矩阵一致性比例均小于0.1，具有较好的一致性，层次单排序结果均满足一致性检验的要求，各指标的层次总排序顺序与实践教学的实际情况较为相符。因此，用层次分析法计算实践教学质量评价指标的权重值比较准确、可信，可为下一步提高经管类专业实践教学质量提供管理支持。
关键词：层次分析法；实践教学评价；指标权重
基金项目：高校经管类专业实践教学评价改革的研究与实践，2013JSJG127。
中图分类号：G647
引言
本文主要采用层次分析法（AHP）确定指标权重。层次分析法由美国运筹学家萨蒂于20世纪70年代初期提出的。其基本思路是：将评价对象或问题视为一个系统，根据问题的性质和要达到的总目标，将问题分解成不同的组成要素，并按照要素间的相互关联度及隶属关系，将要素按不同层次聚集组合，从而形成一个多层次的分析结构系统，从而把问题条理化、层次化。它是将定量分析与定性分析相结合，采用比例标度法，对不同情况的评比给出数量标度，用决策者的经验判断各衡量标准之间的相对重要程度，构造两两比较判断矩阵，采用方根法对建立的两两判断矩阵进行求解，进而求取权重，最后对求取的权重进行一致性检验，通过一致性检验方可認为所求权重合理，否则对判断矩阵进行调整，重新计算，直至通过检验为止，在此基础上，利用权数求出各方案的优劣次序。层次分析法对于求解指标的权重值具有较好的适应性和准确性，能有效地处理那些难以用定量方法解决的问题。
1研究对象
本研究选取了7位长期从事经济管理专业教学管理工作的资深专家教授进行专业咨询。其中2人有担任校级教学管理单位主管经历，5人为现任或曾任商学院的教学与行政主管，2人为商学院基层骨干。他们一直从事经管类相关实践环节的教学以及二级学院和学校的教学管理工作，平均高校工作年限超过25年，均為高级职称，对经管类专业的实践教学体系有深切的体会与管理心得。总体上可以认为几位专家据偶较强的代表性和权威性。
2研究方法
本研究采用了层次单排序和总排序的AHP法。所谓层次单排序是指根据判断矩阵计算对于上一层某因素而言本层次与之有联系的因素的重要性次序的权值，先将指标体系分为一级指标和二级指标两个层次，再分别得出这两个层次的指标权重，最后将两个层次的指标权重相乘得出最终的指标权重。层次总排序是基于层次分析法中层次单排序的基础上给出的。层次总排序的过程与层次单排序的过程大致相同，是为了得到层次结构中某层指标对于总体目标组合权重和它们与上层指标的相互影响，需要利用该层所有层次单排序的结果，计算出该层元素的组合权重，这个过程称为层次总排序。层次总排序这一步，需要从上到下逐层排序进行，最终计算结果得到最低层次元素，即要决策方案优先次序的相对权重。整个过程可分为以下几个步骤：
1）建立层次结构
本研究在前期研究中通过多批次的访谈与问卷调研，运用主成分分析和因子分析相结合的方式，构建了以CIPP模型（背景评价C、投入评价I、过程评价P和效果评价P）的四个要素作为经管类专业实践教学评价指标体系的第一层指标，在此基础上构建第二层8个指标和第三层15指标的评价体系。
针对经管类专业实践教学评价的27项指标构建了AHP分析模型。该模型主要分4个层次，即：目标层T，是模型的最终核算和决策最终目标，即实践教学质量；准则层A，是该模型指标要素层的分类要素，即CIPP四类要素为一级指标；中间层B，指CIPP四个要素所包含的8个二级指标；指标层C，为模型中衡量实践教学质量的具体指标，共15个三级指标。本研究针对指标层、中间层和准则层对实践教学质量的权重进行研究。
2）构造判断矩阵
建立层次分析结构模型之后，需要对每一层次中各指标相对于上一层的重要性进行两两比较，构造出比较判断矩阵，判断矩阵的构建采用1-9比例标度法，分别对每一层次评价指标的相对重要性进行定性描述，并用准确的数字进行量化表示，判断矩阵中数字1表示两元素对某一属性具有同样重要性，数字9表示两元素相比较前者比后者极端重要，中间数字表示意义以此类推，并最终得到多个判断矩阵，课题组根据前期的指标体系构建结果设计专家调查问卷，请具有丰富经验的专家进行AHP法问卷调查，调查内容是请他们按照九级判断尺度表分别为一二三级指标两两之间的相对重要性评分，从而得到相应的判断矩阵（例见表1）。下表为甲专家对实践教学质量准则层CIPP四个要素在经管类专业实践中的重要性程度进行两两评价的评价矩阵，其余类推。
从表1可以看出背景评价A1和投入评价A2相比较，A2明显重要，背景评价A1和过程评价A3相比，后者比前者明显重要，投入评价A2和效果评价A4相比，两者同等重要。过程评价A3和效果评价A4相比，A4稍微重要，相反A3比A4稍微次要。
3）层次排序结果及判断矩阵一致性检验
层次分析法分为层次的单排序和层次总排序。层次单排序就是指根据判断矩阵计算对于上一层某因素的排序而言本层次与之有联系的因素的重要性次序的权值。可以归结为，求解矩阵的最大特征根和对应的特征的向量，即对判断矩阵A，计算满足：AW=λmaxW的特征根与特征向量。式中，λmax为A的最大特征根；W为对应于λmax的正规化特征向量；W的分量Wi即是相应因素单排序的权值。
层次的总排序为确定某层所有因素对于总目标相对重要性的排序权值过程。这一过程是最高层次到最低层次逐层进行的。对于最高层下面的第二层，若上一层次A包含m个因素， A1，A2，… Am，其层次总排序权值分别为a1，a2，… am，下一层次B包含n个元素B1，B2，… Bn，它们对于因素Aj的层次单排序权值分别为bj1，bj2，… bjn（当Bi与Aj无联系时，bji=0），此时B层次总排序权值分别为 ，当然。 比较判断矩阵的办法虽能减少其它因素的干扰，较客观地反映出一对因子影响力的差别，但为了避免出现A比B重要，B比C重要，而C又比A重要这样的矛盾情况出现，需要检验判断矩阵是否具有满意的一致性，以便确定是否接受。判断矩阵的一致性用随机一致性比率CR表示，CR=CI/RI，其中，RI为平均一致性指标，CI为一致性指标，CI=（λmax-n）/（n-1），λmax-n越大，CI越大，矩阵的一致性就越差。当CR<0.1时，认为判断矩阵的一致性是可以接受的，否则应该对判断矩阵做适当修正以使其具有满意的一致性。层次单排序和总排序的一致性比率的计算原理是相同的，總排序的一致性比率CR=CI/RI=/
4 结果与分析
1）通过计算，第一层CIPP四个要素的权重分别为：0.17、0.17、0.23、0.43，其中成果评价A4所占比重最大，背景评价A1和投入评价A2所占比重最小。说明专家们一致认为实践效果评价最为重要，背景评价和投入评价的重要性最低，这和本课题中另一项学生实践满意度调查分析中的结论是一致的，学生满意度与投入评价的相关性较弱。
第二中间层要素中：背景环境A1中管理机制B2比目标定位B1更重要（0.62>0.38）；投入环境A2中师资B3比实践基地与经费投入B4更重要 （0.62>0.38）；过程评价A3中教学过程的组织B6远远重要于实践资料B5（0.83>0.17）；对于成果评价A4要素中，满意度与成果B8的重要性远大于就业率B7（0.8>0.2）。总体而言，第二层指标的重要性依次为满意度与成果>教学过程的组织>师资队伍>目标定位>就业率>管理机制>基地经费>教学资料。
在第三层次要素中，排除师资和就业率指标外，重要性排在前5位的分别为实践成果C15>实践教学过程的考核与反馈C13>实践教学定位C2>实践教学方法C11>学生的实践教学满意度C14，排在倒数后5位的重要性为教学文件C9<实践管理机构与人员C5<实践教材C8<实践基地C6<实践教学内容C10。从排序情况看，专家们更多的关注结果，包括实践绩效和满意度；而对实践基地以及实践教学资料中的三个因素（实践教材、教学内容的个性化差异化以及可操作性、教学文件）的关注度都很低。
2）对于各项指标的重要性程度，专家们的意见也存在差异，甚至做出完全相反的结论。
在所有的指标中，大家一致认为实践教学过程的组织相对于教学资料非常重要，学生满意度和体现实践的成果相对于就业率而言更加重要，实践管理机构与人员的安排在相应体系中重要性最低。其余指标的重要性各位专家都有不同的看法甚至完全相反。
判断完全相反的指标主要有：一级指标中的背景评价（2人认为很重要）和成果评价（5人认为很重要）；二级指标中管理机制与目标定位（6人认为管理机制相对重要或特别重要）以及师资与基地经费（5位专家认为师资非常重要）；三级指标中经费投入比实践基地更加重要（5位赞成），教材的选用建设不重要（5位专家赞成），实践的考核反馈特别重要（6人赞成），实践过程的安排（只有1位专家认为很重要），对于学生的满意度与体现成果的要素比较中，只有1位专家强调学生满意度的重要性。
在这些判断相反的指标中，易考核与衡量的指标权重较高，相反权重较低，同时专家直接负责的领域权重赋值也较高。基地的建设管理由于社会关系的问题难以稳定，多数专家自动忽略，而经费的投入是非常容易考核衡量的，因此只有负责实践基地的专家以及一直从事实习工作的专家认为基地建设很重要，对于实践教材的重要性只有曾经在学校教务部门从事工作的专家更加关注。尽管学校常规检查重点针对教学文件以及教材的选用，但多数专家认为教学文件的重要性相对很低。可是教学内容的重要性尽管重要，但由于专业知识的特点导致内容的考核难以进行。
5 結论
从前文的分析中可以得出专家们更多的关注实践的结果、实践过程的组织、师资的实践能力以及实践定位，对于难以控制、难以考核的要素关注度都较低。对各项指标重要性的确定各方面，往往结合了专业实际使用情况，同时不同专家所处位置以及从事实践教学活动的种类的差异性对各要素的重要性的人是也不同。
参考文献：
[1]孙宏才等.网络层次分析法与决策科学[M]. 北京：国防工业出版社，2011
关键词：层次分析法；实践教学评价；指标权重
基金项目：高校经管类专业实践教学评价改革的研究与实践，2013JSJG127。
中图分类号：G647
引言
本文主要采用层次分析法（AHP）确定指标权重。层次分析法由美国运筹学家萨蒂于20世纪70年代初期提出的。其基本思路是：将评价对象或问题视为一个系统，根据问题的性质和要达到的总目标，将问题分解成不同的组成要素，并按照要素间的相互关联度及隶属关系，将要素按不同层次聚集组合，从而形成一个多层次的分析结构系统，从而把问题条理化、层次化。它是将定量分析与定性分析相结合，采用比例标度法，对不同情况的评比给出数量标度，用决策者的经验判断各衡量标准之间的相对重要程度，构造两两比较判断矩阵，采用方根法对建立的两两判断矩阵进行求解，进而求取权重，最后对求取的权重进行一致性检验，通过一致性检验方可認为所求权重合理，否则对判断矩阵进行调整，重新计算，直至通过检验为止，在此基础上，利用权数求出各方案的优劣次序。层次分析法对于求解指标的权重值具有较好的适应性和准确性，能有效地处理那些难以用定量方法解决的问题。
1研究对象
本研究选取了7位长期从事经济管理专业教学管理工作的资深专家教授进行专业咨询。其中2人有担任校级教学管理单位主管经历，5人为现任或曾任商学院的教学与行政主管，2人为商学院基层骨干。他们一直从事经管类相关实践环节的教学以及二级学院和学校的教学管理工作，平均高校工作年限超过25年，均為高级职称，对经管类专业的实践教学体系有深切的体会与管理心得。总体上可以认为几位专家据偶较强的代表性和权威性。
2研究方法
本研究采用了层次单排序和总排序的AHP法。所谓层次单排序是指根据判断矩阵计算对于上一层某因素而言本层次与之有联系的因素的重要性次序的权值，先将指标体系分为一级指标和二级指标两个层次，再分别得出这两个层次的指标权重，最后将两个层次的指标权重相乘得出最终的指标权重。层次总排序是基于层次分析法中层次单排序的基础上给出的。层次总排序的过程与层次单排序的过程大致相同，是为了得到层次结构中某层指标对于总体目标组合权重和它们与上层指标的相互影响，需要利用该层所有层次单排序的结果，计算出该层元素的组合权重，这个过程称为层次总排序。层次总排序这一步，需要从上到下逐层排序进行，最终计算结果得到最低层次元素，即要决策方案优先次序的相对权重。整个过程可分为以下几个步骤：
1）建立层次结构
本研究在前期研究中通过多批次的访谈与问卷调研，运用主成分分析和因子分析相结合的方式，构建了以CIPP模型（背景评价C、投入评价I、过程评价P和效果评价P）的四个要素作为经管类专业实践教学评价指标体系的第一层指标，在此基础上构建第二层8个指标和第三层15指标的评价体系。
针对经管类专业实践教学评价的27项指标构建了AHP分析模型。该模型主要分4个层次，即：目标层T，是模型的最终核算和决策最终目标，即实践教学质量；准则层A，是该模型指标要素层的分类要素，即CIPP四类要素为一级指标；中间层B，指CIPP四个要素所包含的8个二级指标；指标层C，为模型中衡量实践教学质量的具体指标，共15个三级指标。本研究针对指标层、中间层和准则层对实践教学质量的权重进行研究。
2）构造判断矩阵
建立层次分析结构模型之后，需要对每一层次中各指标相对于上一层的重要性进行两两比较，构造出比较判断矩阵，判断矩阵的构建采用1-9比例标度法，分别对每一层次评价指标的相对重要性进行定性描述，并用准确的数字进行量化表示，判断矩阵中数字1表示两元素对某一属性具有同样重要性，数字9表示两元素相比较前者比后者极端重要，中间数字表示意义以此类推，并最终得到多个判断矩阵，课题组根据前期的指标体系构建结果设计专家调查问卷，请具有丰富经验的专家进行AHP法问卷调查，调查内容是请他们按照九级判断尺度表分别为一二三级指标两两之间的相对重要性评分，从而得到相应的判断矩阵（例见表1）。下表为甲专家对实践教学质量准则层CIPP四个要素在经管类专业实践中的重要性程度进行两两评价的评价矩阵，其余类推。
从表1可以看出背景评价A1和投入评价A2相比较，A2明显重要，背景评价A1和过程评价A3相比，后者比前者明显重要，投入评价A2和效果评价A4相比，两者同等重要。过程评价A3和效果评价A4相比，A4稍微重要，相反A3比A4稍微次要。
3）层次排序结果及判断矩阵一致性检验
层次分析法分为层次的单排序和层次总排序。层次单排序就是指根据判断矩阵计算对于上一层某因素的排序而言本层次与之有联系的因素的重要性次序的权值。可以归结为，求解矩阵的最大特征根和对应的特征的向量，即对判断矩阵A，计算满足：AW=λmaxW的特征根与特征向量。式中，λmax为A的最大特征根；W为对应于λmax的正规化特征向量；W的分量Wi即是相应因素单排序的权值。
层次的总排序为确定某层所有因素对于总目标相对重要性的排序权值过程。这一过程是最高层次到最低层次逐层进行的。对于最高层下面的第二层，若上一层次A包含m个因素， A1，A2，… Am，其层次总排序权值分别为a1，a2，… am，下一层次B包含n个元素B1，B2，… Bn，它们对于因素Aj的层次单排序权值分别为bj1，bj2，… bjn（当Bi与Aj无联系时，bji=0），此时B层次总排序权值分别为 ，当然。 比较判断矩阵的办法虽能减少其它因素的干扰，较客观地反映出一对因子影响力的差别，但为了避免出现A比B重要，B比C重要，而C又比A重要这样的矛盾情况出现，需要检验判断矩阵是否具有满意的一致性，以便确定是否接受。判断矩阵的一致性用随机一致性比率CR表示，CR=CI/RI，其中，RI为平均一致性指标，CI为一致性指标，CI=（λmax-n）/（n-1），λmax-n越大，CI越大，矩阵的一致性就越差。当CR<0.1时，认为判断矩阵的一致性是可以接受的，否则应该对判断矩阵做适当修正以使其具有满意的一致性。层次单排序和总排序的一致性比率的计算原理是相同的，總排序的一致性比率CR=CI/RI=/
4 结果与分析
1）通过计算，第一层CIPP四个要素的权重分别为：0.17、0.17、0.23、0.43，其中成果评价A4所占比重最大，背景评价A1和投入评价A2所占比重最小。说明专家们一致认为实践效果评价最为重要，背景评价和投入评价的重要性最低，这和本课题中另一项学生实践满意度调查分析中的结论是一致的，学生满意度与投入评价的相关性较弱。
第二中间层要素中：背景环境A1中管理机制B2比目标定位B1更重要（0.62>0.38）；投入环境A2中师资B3比实践基地与经费投入B4更重要 （0.62>0.38）；过程评价A3中教学过程的组织B6远远重要于实践资料B5（0.83>0.17）；对于成果评价A4要素中，满意度与成果B8的重要性远大于就业率B7（0.8>0.2）。总体而言，第二层指标的重要性依次为满意度与成果>教学过程的组织>师资队伍>目标定位>就业率>管理机制>基地经费>教学资料。
在第三层次要素中，排除师资和就业率指标外，重要性排在前5位的分别为实践成果C15>实践教学过程的考核与反馈C13>实践教学定位C2>实践教学方法C11>学生的实践教学满意度C14，排在倒数后5位的重要性为教学文件C9<实践管理机构与人员C5<实践教材C8<实践基地C6<实践教学内容C10。从排序情况看，专家们更多的关注结果，包括实践绩效和满意度；而对实践基地以及实践教学资料中的三个因素（实践教材、教学内容的个性化差异化以及可操作性、教学文件）的关注度都很低。
2）对于各项指标的重要性程度，专家们的意见也存在差异，甚至做出完全相反的结论。
在所有的指标中，大家一致认为实践教学过程的组织相对于教学资料非常重要，学生满意度和体现实践的成果相对于就业率而言更加重要，实践管理机构与人员的安排在相应体系中重要性最低。其余指标的重要性各位专家都有不同的看法甚至完全相反。
判断完全相反的指标主要有：一级指标中的背景评价（2人认为很重要）和成果评价（5人认为很重要）；二级指标中管理机制与目标定位（6人认为管理机制相对重要或特别重要）以及师资与基地经费（5位专家认为师资非常重要）；三级指标中经费投入比实践基地更加重要（5位赞成），教材的选用建设不重要（5位专家赞成），实践的考核反馈特别重要（6人赞成），实践过程的安排（只有1位专家认为很重要），对于学生的满意度与体现成果的要素比较中，只有1位专家强调学生满意度的重要性。
在这些判断相反的指标中，易考核与衡量的指标权重较高，相反权重较低，同时专家直接负责的领域权重赋值也较高。基地的建设管理由于社会关系的问题难以稳定，多数专家自动忽略，而经费的投入是非常容易考核衡量的，因此只有负责实践基地的专家以及一直从事实习工作的专家认为基地建设很重要，对于实践教材的重要性只有曾经在学校教务部门从事工作的专家更加关注。尽管学校常规检查重点针对教学文件以及教材的选用，但多数专家认为教学文件的重要性相对很低。可是教学内容的重要性尽管重要，但由于专业知识的特点导致内容的考核难以进行。
5 結论
从前文的分析中可以得出专家们更多的关注实践的结果、实践过程的组织、师资的实践能力以及实践定位，对于难以控制、难以考核的要素关注度都较低。对各项指标重要性的确定各方面，往往结合了专业实际使用情况，同时不同专家所处位置以及从事实践教学活动的种类的差异性对各要素的重要性的人是也不同。
参考文献：
[1]孙宏才等.网络层次分析法与决策科学[M]. 北京：国防工业出版社，2011