论文部分内容阅读
【摘 要】研究生教育同样要进行绩效评价。本文从平衡记分卡的角度对研究生管理绩效的评价体系和评价方法作了初步探索。
【关键词】研究生教育 管理绩效 平衡记分卡 评价体系与方法
【中图分类号】G643 【文献标识码】A 【文章编号】1009-9646(2008)06-0120-03
1 引言
所谓研究生教育绩效管理,是利用研究生教育绩效信息协助设定统一的绩效目标,进行教育资源配置与优先顺序的安排,以告知学校管理者维持或改变既定目标计划,并且报告成功符合目标的管理过程。研究生教育绩效管理注重学校研究生教育各方面指标的平衡性,同时还注重了学校研究生教育上的成本——效益分析,能更好地反映学校资源的有效配置。研究生教育管理绩效评价能够正确反映高校在研究生培养中存在的问题。本文从评价体系的构建和评价方法上对研究生教育管理绩效作了初步探索。
目前国内外学术界对研究生教育绩效管理评价主要集中在教育质量评价方面。例如,美国的研究生教育质量评价是以社会评价为主体,政府提供支持、保障和协调,高校自我评价为基础的评价体系。这其中高校的自我评价是非常重要的环节,它不仅是外界对高校的要求,也是高校向外界证明自己的质量,保护自主权,维护学术自由,促进质量持续提高和自我改进的重要手段。因此在全美各大学,特别是大多数美国重点大学,都有评价委员会和一套专门的自我评价程序来定期对研究生培养质量进行定期检查。他们的自我评价大都包括以下几个特征[1-2]:(1)评价集中在学术单位计划的目标上,这些目标与学校使命相关联,必须在评价中被清楚地限定和实施。(2)评价建立在一个适当的概念范围内,它允许每一个特殊的学术单位由于不同目标而在方法上的多样性。(3)评价必须包括教职人员的所有权和责任,并且有学校的支持。(4)评价包括学习过程评价和成果评价。(5)评价应给学术组织、学生、学校以及公众提供反馈。(6)评价应是计划执行的一个有机组成部分,且应考虑学术过程中不同阶段的学生。(7)评价提供批判性的计划反省去促进变革。(8)评价是一个连续不断的过程。(9)评价的程序应被周期性地回顾和评价。这样的自我评价能促进研究生教育质量内部持续提高和改进,充分满足社会的需求。
而我国研究生教育质量评价则是单一的政府评价,虽然在一定程度上有利于顾全大局,宏观上集中管理全国研究生教育发展的布局和规划。但是它有许多无法克服的弊端,具体到评价体系中,首先,指标共性的多,个性的少,整齐划一,对不同类型的评价缺乏针对性,有些指标不合理;其次,指标体系过于繁琐,未能真正抓住研究生教育质量的本质属性;其三,效益指标没有受到重视;其四,条件指标、过程指标与成果指标的关系处理不合理;其五,客观指标与主观指标、定量指标与定性指标失衡;其六,注重现在阶段性的静态评价,忽略未来发展性的动态评价[3-4]。这些弊端的存在,使得我国的研究生教育质量评价体系虽然投入了大量的经费和时间精力,但其效率和效益却不高
综上所述,改变、改善现有的研究生教育绩效管理评价体系,完善社会评价和高校自我评价,建立、健全研究生教育绩效评价体系,有着重要的理论与实践意义。
2 基于平衡记分卡的研究生绩效管理评价体系的构建
平衡计分卡(BalanceScorecard,BSC)是由美国学者罗伯特.S.卡普兰和大卫.P.诺顿提出的一整套用于企业经营业绩、衡量与评价的财务与非财务指标体系。平衡计分卡是一种较为新颖的战略实施工具,能够用于各种系统的绩效管理系统。近些年在美国、加拿大等发达国家的企业和公共部门得到了广泛应用。它通过财务管理、客户/市场、内部运营、学习与成长四个维度的内在因果联系,实现了组织长期战略与短期行为之间、财务角度和非财务角度之间、外部衡量和内部衡量之间、结果和结果的动因之间、有形资产和无形资产之间、客观性测量和主观性测量之间的平衡[5]。它不仅是一个指标评价系统,而且还是一个战略管理系统,旨在通过四套指标对绩效进行全面衡量[6]。非营利组织的平衡计分卡如图1所示,我们将基于这个模型,设计评价体系分析框架,筛选出合适的KPI评价指标,构建研究生教育绩效管理评价体系,进而利用评价结果对研究生教育绩效进行持续改进,并进行不断审核,提高绩效评价的效率和效益。
3 研究生教育绩效评价体系的构建
3.1 KPI指标的构建原则
(1)敏感性原则。要求指标体系能准确敏感地反映研究生教育的绩效,使其成为反映研究生教育现状的“晴雨表”。
(2)有效性原则。要求指标体系与实际情况或专家校验的结果保持一致,从而保证指标的有效性。
(3)可控性原则。在指标设置时,尽可能设置量化指标,定性指标也要采用科学方法进行量化,以便更好地监控对象。
(4)相对独立性原则。某些绩效评价因素只需要一个指标测评,而有些则需要多个指标测评;有时一个指标能测评一个对象,而有时一个指标能同时对多个对象进行测评。在设计指标时应尽可能减少各指标之间的重叠区域,将其相关性减少到最低限度。
(5)定性与定量指标相结合原则。有些指标不能用准确的数据来描述和表达,只能定性地加以阐述,但对研究生教育绩效评价非常重要,因而必须加以利用,从而全面反映研究生教育现状和趋势。
3.2 KPI指标的确定
根据研究生教育发展现状,我们项目组设计了研究生教育综合情况问卷,对广西区内五所高校进行了调研。
3.2.1 主成分分析法(principal component analysis)是一种研究如何通过原来变量的少数几个线性组合来解释原来变量绝大多数信息的多元统计方法,它是由英国人皮尔逊(Pearson,1901)首先对非随机变量引入的,后来被霍特(Hotelling,1933)推广到随机向量的情形。
它的具体计算过程通常由四步构成:
第一步,整理原始数据并进行标准化处理;
第二步,计算样本相关矩阵R;
第三步,计算相关矩阵R的特征值、方差贡献率、累积方差贡献率、因子负荷矩阵;
第四步,选择m个主成分,计算相应的单位特征向量,结合专业知识对所选的主成分给予恰当的解释。
3.2.2 指标的确定
课题组将指标按照平衡计分卡维度分为四个子系统,即财务管理子系统、客户子系统、内部运营子系统和学习与成长子系统。这样我们构建了研究生教育绩效评价初选指标体系。(由于指标众多,限于篇幅我们只给出筛选后的指标体系)
根据对研究生教育绩效评价体系初选指标的调研结果进行主成分分析,得到总方差解释表(Total Variance Explained)及组成矩阵(Component Matrix(a))。筛选后的研究生教育绩效评价体系,具体见表1。
3.2.3 层次分析法确定指标权重
表1中权重的确定采用层次分析得出,其计算采用计算机软件处理,比较判断矩阵由调研问卷统计结果确定,分数值在软件中已量化为小数,权重数据结果已经写入表1中。
层次分析法一般分五个基本步骤:
(1)明确问题:弄清所要解决问题的范围,有哪些要素以及各要素间的关系。
(2)建立递阶层次结构模型,见研究生教育绩效评价体系;
(3)对隶属于同一指标的各子指标之间的相对重要性,采用实验心理学的Bipolar标度——即1～9标度进行比较,形成判断矩阵。
(4)各元素相对权重的计算,采用特征根法计算,即AW=λmaxW,由正矩阵Perron定理可知,λmax存在且惟一,W的分量均为正分量,可以用幂法求出λmax及相应的特征向量W,此特征向量即为指标权重。
(5)判断矩阵一致性的检验;
CI=(λax-n)/(n-1)
CR=CI/RI，若CR<0.1,一般认为判断矩阵的一致性可以接受。
3.3 评价方法
(1)对于定量指标,预先确定一个标准值,实际值超过标准值20％为优,赋值90;超过标准值10％为良,赋值70;与标准值相同为中,赋值50;低于标准值10％为差,赋值30;低于标准值20％为很差,赋值10,然后根据实际情况线形量化。
(2)对于定性指标,根据考核小组评价情况,采用模糊综合评价法将关键绩效指标(KPI)中的评价等级量化,基本等级同上。
4 研究生教育绩效评价结果分析
课题组在对研究生教育现状认真研究的基础上,根据问卷调研结果,按照上述的评价方法,得出了研究生教育绩效评价体系各项指标的加权分值,已写入研究生教育绩效评价体系中,汇总得到的总分值为49.9108,表明对研究生教育绩效评价为中等稍微偏下的水平。具体而言,研究生教育存在以下一些问题:
4.1 财务方面,研究生教育绩效评价相对分值为34.3,处于较差水平,表明研究生教育还缺乏足够的财力支持,原因主要是随着研究生扩招幅度下降,国家投入也随之相应减少,但随着国民经济的发展,研究生培养成本还在不断提高,两者矛盾日益突出。
4.2 客户/市场方面,研究生教育绩效评价相对分值为53.68,处于中等水平,表明政府、社会、高校对研究生教育尚认可,但仍存在较多问题,如一些学校学术地位在国内外还较低,宣传的广度、深度还不够等等。在调研中,课题组发现,导师对研究生教育满意度较高,而研究生的满意度较低,可见,研究生教育尚未得到其主体——广大研究生的认可,仍需要在硬件、软件等方面入手,提高其满意度。
4.3 内部运营方面,研究生教育绩效评价相对分值为54.84,处于中等水平,表明研究生教育体系运转基本正常,但仍需改进,如能解决诸如行政效率不高,研究生招生、培养、考试、答辩中的形式化及研究生服务中存在的问题,则研究生教育绩效将会进一步提升。
4.4 在创新与成长方面,研究生教育绩效评价相对分值为48.59,处于中等偏下水平,表明研究生教育在创新与成长方面有较多不足,如应用研究较多,但专利数量偏少,出版著作、发表论文较多,但有很高学术水平,被SCI/EI等引用较少,此外,在科研成果转让、学术梯队培养、国内外学术交流等方面均需要下狠功夫,全面提高研究生教育水平。
5 结语
本文针对我国现阶段研究生教育评价体系的一些不足之处,提出了基于研究生教育使命与战略,以平衡计分卡理论为基础,借助的统计软件SPSS,运用主成分分析法筛选出合适的KPI评价指标,运用层次分析法确定各级指标的权重,进而构建了研究生教育绩效评价体系。最后,我们对研究生教育绩效评价结果进行了分析,并分析该评价体系所反应出的研究生教育现状及存在的一些主要问题。而有关“提高研究生教育绩效的具体措施”的研究,课题组将在后继的研究中给出。
参考文献
[1] 清华大学研究生院编.美国研究生教育:美国研究生院院长访华代表团访华专辑.清华大学出版社,1985.
[2] 沈红.对美国研究生教育评价的综合分析.学位与研究生教育,1996(6).
[3] 陈玉琨著.中国高等教育评价论.广东高等教育出版社,1993.
[4] 王战军编著.学位与研究生教育评价技术与实践.高等教育出版社,2000.
[5] 刘凌冰.非营利组织中平衡计分卡应用研究.学位论文,2004,12.
[6] 李文美,陈尊明.业绩评价新体系——平衡计分卡[J].广西会计,2001,4.
[7] Niven,P.R.(2002).BalancedScor ecardStep-by-step:maximizing performanceandmaintainingresults,JohnWiley&Sons,IncNewYork.P297.
【关键词】研究生教育 管理绩效 平衡记分卡 评价体系与方法
【中图分类号】G643 【文献标识码】A 【文章编号】1009-9646(2008)06-0120-03
1 引言
所谓研究生教育绩效管理,是利用研究生教育绩效信息协助设定统一的绩效目标,进行教育资源配置与优先顺序的安排,以告知学校管理者维持或改变既定目标计划,并且报告成功符合目标的管理过程。研究生教育绩效管理注重学校研究生教育各方面指标的平衡性,同时还注重了学校研究生教育上的成本——效益分析,能更好地反映学校资源的有效配置。研究生教育管理绩效评价能够正确反映高校在研究生培养中存在的问题。本文从评价体系的构建和评价方法上对研究生教育管理绩效作了初步探索。
目前国内外学术界对研究生教育绩效管理评价主要集中在教育质量评价方面。例如,美国的研究生教育质量评价是以社会评价为主体,政府提供支持、保障和协调,高校自我评价为基础的评价体系。这其中高校的自我评价是非常重要的环节,它不仅是外界对高校的要求,也是高校向外界证明自己的质量,保护自主权,维护学术自由,促进质量持续提高和自我改进的重要手段。因此在全美各大学,特别是大多数美国重点大学,都有评价委员会和一套专门的自我评价程序来定期对研究生培养质量进行定期检查。他们的自我评价大都包括以下几个特征[1-2]:(1)评价集中在学术单位计划的目标上,这些目标与学校使命相关联,必须在评价中被清楚地限定和实施。(2)评价建立在一个适当的概念范围内,它允许每一个特殊的学术单位由于不同目标而在方法上的多样性。(3)评价必须包括教职人员的所有权和责任,并且有学校的支持。(4)评价包括学习过程评价和成果评价。(5)评价应给学术组织、学生、学校以及公众提供反馈。(6)评价应是计划执行的一个有机组成部分,且应考虑学术过程中不同阶段的学生。(7)评价提供批判性的计划反省去促进变革。(8)评价是一个连续不断的过程。(9)评价的程序应被周期性地回顾和评价。这样的自我评价能促进研究生教育质量内部持续提高和改进,充分满足社会的需求。
而我国研究生教育质量评价则是单一的政府评价,虽然在一定程度上有利于顾全大局,宏观上集中管理全国研究生教育发展的布局和规划。但是它有许多无法克服的弊端,具体到评价体系中,首先,指标共性的多,个性的少,整齐划一,对不同类型的评价缺乏针对性,有些指标不合理;其次,指标体系过于繁琐,未能真正抓住研究生教育质量的本质属性;其三,效益指标没有受到重视;其四,条件指标、过程指标与成果指标的关系处理不合理;其五,客观指标与主观指标、定量指标与定性指标失衡;其六,注重现在阶段性的静态评价,忽略未来发展性的动态评价[3-4]。这些弊端的存在,使得我国的研究生教育质量评价体系虽然投入了大量的经费和时间精力,但其效率和效益却不高
综上所述,改变、改善现有的研究生教育绩效管理评价体系,完善社会评价和高校自我评价,建立、健全研究生教育绩效评价体系,有着重要的理论与实践意义。
2 基于平衡记分卡的研究生绩效管理评价体系的构建
平衡计分卡(BalanceScorecard,BSC)是由美国学者罗伯特.S.卡普兰和大卫.P.诺顿提出的一整套用于企业经营业绩、衡量与评价的财务与非财务指标体系。平衡计分卡是一种较为新颖的战略实施工具,能够用于各种系统的绩效管理系统。近些年在美国、加拿大等发达国家的企业和公共部门得到了广泛应用。它通过财务管理、客户/市场、内部运营、学习与成长四个维度的内在因果联系,实现了组织长期战略与短期行为之间、财务角度和非财务角度之间、外部衡量和内部衡量之间、结果和结果的动因之间、有形资产和无形资产之间、客观性测量和主观性测量之间的平衡[5]。它不仅是一个指标评价系统,而且还是一个战略管理系统,旨在通过四套指标对绩效进行全面衡量[6]。非营利组织的平衡计分卡如图1所示,我们将基于这个模型,设计评价体系分析框架,筛选出合适的KPI评价指标,构建研究生教育绩效管理评价体系,进而利用评价结果对研究生教育绩效进行持续改进,并进行不断审核,提高绩效评价的效率和效益。
3 研究生教育绩效评价体系的构建
3.1 KPI指标的构建原则
(1)敏感性原则。要求指标体系能准确敏感地反映研究生教育的绩效,使其成为反映研究生教育现状的“晴雨表”。
(2)有效性原则。要求指标体系与实际情况或专家校验的结果保持一致,从而保证指标的有效性。
(3)可控性原则。在指标设置时,尽可能设置量化指标,定性指标也要采用科学方法进行量化,以便更好地监控对象。
(4)相对独立性原则。某些绩效评价因素只需要一个指标测评,而有些则需要多个指标测评;有时一个指标能测评一个对象,而有时一个指标能同时对多个对象进行测评。在设计指标时应尽可能减少各指标之间的重叠区域,将其相关性减少到最低限度。
(5)定性与定量指标相结合原则。有些指标不能用准确的数据来描述和表达,只能定性地加以阐述,但对研究生教育绩效评价非常重要,因而必须加以利用,从而全面反映研究生教育现状和趋势。
3.2 KPI指标的确定
根据研究生教育发展现状,我们项目组设计了研究生教育综合情况问卷,对广西区内五所高校进行了调研。
3.2.1 主成分分析法(principal component analysis)是一种研究如何通过原来变量的少数几个线性组合来解释原来变量绝大多数信息的多元统计方法,它是由英国人皮尔逊(Pearson,1901)首先对非随机变量引入的,后来被霍特(Hotelling,1933)推广到随机向量的情形。
它的具体计算过程通常由四步构成:
第一步,整理原始数据并进行标准化处理;
第二步,计算样本相关矩阵R;
第三步,计算相关矩阵R的特征值、方差贡献率、累积方差贡献率、因子负荷矩阵;
第四步,选择m个主成分,计算相应的单位特征向量,结合专业知识对所选的主成分给予恰当的解释。
3.2.2 指标的确定
课题组将指标按照平衡计分卡维度分为四个子系统,即财务管理子系统、客户子系统、内部运营子系统和学习与成长子系统。这样我们构建了研究生教育绩效评价初选指标体系。(由于指标众多,限于篇幅我们只给出筛选后的指标体系)
根据对研究生教育绩效评价体系初选指标的调研结果进行主成分分析,得到总方差解释表(Total Variance Explained)及组成矩阵(Component Matrix(a))。筛选后的研究生教育绩效评价体系,具体见表1。
3.2.3 层次分析法确定指标权重
表1中权重的确定采用层次分析得出,其计算采用计算机软件处理,比较判断矩阵由调研问卷统计结果确定,分数值在软件中已量化为小数,权重数据结果已经写入表1中。
层次分析法一般分五个基本步骤:
(1)明确问题:弄清所要解决问题的范围,有哪些要素以及各要素间的关系。
(2)建立递阶层次结构模型,见研究生教育绩效评价体系;
(3)对隶属于同一指标的各子指标之间的相对重要性,采用实验心理学的Bipolar标度——即1～9标度进行比较,形成判断矩阵。
(4)各元素相对权重的计算,采用特征根法计算,即AW=λmaxW,由正矩阵Perron定理可知,λmax存在且惟一,W的分量均为正分量,可以用幂法求出λmax及相应的特征向量W,此特征向量即为指标权重。
(5)判断矩阵一致性的检验;
CI=(λax-n)/(n-1)
CR=CI/RI，若CR<0.1,一般认为判断矩阵的一致性可以接受。
3.3 评价方法
(1)对于定量指标,预先确定一个标准值,实际值超过标准值20％为优,赋值90;超过标准值10％为良,赋值70;与标准值相同为中,赋值50;低于标准值10％为差,赋值30;低于标准值20％为很差,赋值10,然后根据实际情况线形量化。
(2)对于定性指标,根据考核小组评价情况,采用模糊综合评价法将关键绩效指标(KPI)中的评价等级量化,基本等级同上。
4 研究生教育绩效评价结果分析
课题组在对研究生教育现状认真研究的基础上,根据问卷调研结果,按照上述的评价方法,得出了研究生教育绩效评价体系各项指标的加权分值,已写入研究生教育绩效评价体系中,汇总得到的总分值为49.9108,表明对研究生教育绩效评价为中等稍微偏下的水平。具体而言,研究生教育存在以下一些问题:
4.1 财务方面,研究生教育绩效评价相对分值为34.3,处于较差水平,表明研究生教育还缺乏足够的财力支持,原因主要是随着研究生扩招幅度下降,国家投入也随之相应减少,但随着国民经济的发展,研究生培养成本还在不断提高,两者矛盾日益突出。
4.2 客户/市场方面,研究生教育绩效评价相对分值为53.68,处于中等水平,表明政府、社会、高校对研究生教育尚认可,但仍存在较多问题,如一些学校学术地位在国内外还较低,宣传的广度、深度还不够等等。在调研中,课题组发现,导师对研究生教育满意度较高,而研究生的满意度较低,可见,研究生教育尚未得到其主体——广大研究生的认可,仍需要在硬件、软件等方面入手,提高其满意度。
4.3 内部运营方面,研究生教育绩效评价相对分值为54.84,处于中等水平,表明研究生教育体系运转基本正常,但仍需改进,如能解决诸如行政效率不高,研究生招生、培养、考试、答辩中的形式化及研究生服务中存在的问题,则研究生教育绩效将会进一步提升。
4.4 在创新与成长方面,研究生教育绩效评价相对分值为48.59,处于中等偏下水平,表明研究生教育在创新与成长方面有较多不足,如应用研究较多,但专利数量偏少,出版著作、发表论文较多,但有很高学术水平,被SCI/EI等引用较少,此外,在科研成果转让、学术梯队培养、国内外学术交流等方面均需要下狠功夫,全面提高研究生教育水平。
5 结语
本文针对我国现阶段研究生教育评价体系的一些不足之处,提出了基于研究生教育使命与战略,以平衡计分卡理论为基础,借助的统计软件SPSS,运用主成分分析法筛选出合适的KPI评价指标,运用层次分析法确定各级指标的权重,进而构建了研究生教育绩效评价体系。最后,我们对研究生教育绩效评价结果进行了分析,并分析该评价体系所反应出的研究生教育现状及存在的一些主要问题。而有关“提高研究生教育绩效的具体措施”的研究,课题组将在后继的研究中给出。
参考文献
[1] 清华大学研究生院编.美国研究生教育:美国研究生院院长访华代表团访华专辑.清华大学出版社,1985.
[2] 沈红.对美国研究生教育评价的综合分析.学位与研究生教育,1996(6).
[3] 陈玉琨著.中国高等教育评价论.广东高等教育出版社,1993.
[4] 王战军编著.学位与研究生教育评价技术与实践.高等教育出版社,2000.
[5] 刘凌冰.非营利组织中平衡计分卡应用研究.学位论文,2004,12.
[6] 李文美,陈尊明.业绩评价新体系——平衡计分卡[J].广西会计,2001,4.
[7] Niven,P.R.(2002).BalancedScor ecardStep-by-step:maximizing performanceandmaintainingresults,JohnWiley&Sons,IncNewYork.P297.