论文部分内容阅读
摘要：为了提高高校实验室评价的客观准确性，提出了基于客观赋权组合的实验室评价方法。该方法结合熵权法、灰色关联度法和主成分分析法等客观赋权分析算法对实验室进行分析与评价，并采用聚类分析法根据实验室评价结果对实验室进行分类。该评价方法不但避免了主观赋权评价时指标权重设置不当导致的评价结果失真，更能将单个客观赋权法对评价结果的误差降到最低。
关键词：评价；实验室；高校；客观赋权
实验室作为高校教学与科研的实践基地，是高校学生巩固理论知识和培养动手能力的主要场所。近年来，实验室在高校教育科研体系中的地位不断提升。在《国家中长期教育改革和发展规划纲要（2010-2020年）》和《国家中长期人才发展规划纲要（2010-2020年）》等国家规划的指导下，涌现出了一大批国家或部委与高校共建的实验室项目，进一步凸显出高校实验室建设与管理工作的重要性。作为促进高校实验室建设与管理工作的重要工具，实验室评价日益受到高校实验室管理者的青睐，因此，提高实验室评价的准确性成为实验室评价工作的首要问题。
由于评价结果的准确性往往依赖于评价的权重设置与分析方法，因此，设计一套客观、准确、合理的实验室评价方法不仅具有理论研究价值，更具有现实意义。传统的实验室评价主要采用层次分析法或德尔菲法等主观赋权方法设置指标权重，评审专家的个人偏好将对指标权重产生显著影响，可能导致评价结果严重偏离现实状况；[1，2]而单独使用某一种客观赋权评价方法则无法避免由方法自身导致的误差。本文结合多种客观赋权评价方法对高校实验室进行评价，并在对评价结果进行一致性检验和组合分析的基础上，得到最终评价结果，最后采用聚类分析手段对被评价实验室进行分类，在最大化去除人为因素对评价结果的影响的同时，减少了由单个评价方法自身导致的误差，以提高评价结果的客观准确性。
一、评价思路与方法
1.研究思路
通过合理设置专家评分过程和评价方法组合能够有效控制评价结果的不确定性。[3，4]同时，大量研究表明，熵权法、[5，6]灰色关联度分析法[7，8]和主成分分析法[9]等客观赋权评价方法获得了研究人员的青睐。这三种方法均能够避免主观因素的干扰，较好地反映样本间的现实关系，又各有侧重点：熵权法根据观测值提供的信息量大小确定权重；[6]灰色关联度法能够测量各待评对象与理想方案的关联程度；[8]而主成分分析则通过线性变换消除了指标间的相互影响。[9]因此，本文将这三种客观赋权评价方法结合，设计出了一套新的组合型实验室评价方法，如图1所示。在组织专家对实验室进行分指标打分的基础上，采用熵权法、灰色关联度分析法和主成分分析法等客观赋权评价方法对评分数据进行分析与处理。针对不同评价方法产生的评价差异，采用Kendall协同系数法检验其一致性，再将三种方法获得的分数进行组合评价，得到最终评价结果，并根据组合评价结果对实验室进行聚类分析，以获得客观、科学的实验室评价结果。
2.评价方法
在实施实验室评价时，邀请多名专家在听取汇报、查阅资料和现场调研的基础上，对各实验室进行评价。假设共有m个待评实验室，n个评价指标，p名参评专家，i、j、k、S分别为实验室、评价指标、参评专家和指标评价档次（分别为：优、良、中、差）的标号。具体评价过程如下：
（1）设rijks为专家对实验室某二级指标的评级，分别对应二级指标评级中的{优，良，中，差}。当专家k对实验室i的第j个二级评价指标评定级别与S取值相对应时，rijks=1，否则rijks=0。则实验室i的分级评价矩阵为：
，，
（2）在二级指标分级中，根据优、良、中、差代表的分值，得到实验室评价分级得分函数。则实验室i的评价矩阵为：
其中，为实验室i在二级评价指标j下的得分。
（3）分别采用多种客观赋权评价方法对实验室评价矩阵进行处理。使用方法t对实验室i的评价矩阵Xi进行分析与处理，获得评价结果，并根据降序排列对实验室进行排名。
（4）采用kendall协同系数检验法对同一实验室在不同方法下的评价结果进行一致性检验，并在通过一致性检验的基础上，采用以下方法进行组合评价：通过Z-Score标准化将进行处理，获得标准评价值，则实验室i的组合评价最终值：
（5）采用聚类分析法对实验室评价值进行聚类分析，获得实验室评价分类结果。
二、案例分析
为检验客观赋权组合评价方法的现实可操作性，本文选取国内某高校2011年实验室评价指标体系与专家评级数据进行分析。该校为一所教学科研型本科院校，本次评价共有力学实验室等21个实验室（中心）和20名实验室管理专家参加，评价指标体系中共有41个二级指标，二级指标得分分级中的优、良、中、差分别对应90分、75分、60分、45分。采用该校实验室评价指标体系，邀请专家针对各指标进行评分，获得基本评价数据（由于篇幅所限，具体指标体系及各实验室各指标得分略去）。
分别采用熵权法、灰色关联度法和主成分分析法对各实验室进行评价，评价结果如表1所示。
从表1可以看出，采用三种不同评价方法对相同的原始数据进行处理，得到的评价结果在大体相符合的基础上，出现了差异。如多数实验室在不同的方法下，评价名次相同或仅相差一到两名，但7号实验室评价差异较大：在熵权法评价中为第10名，而在灰色关联度分析和主成分分析中为第20名。因此，为了保障评价的客观与科学性，需对三种方法的评价结果进行一致性检验。
采用kendall协同系数检验法对以上三种方法的评价结果进行一致性检验，检验结果显示：Kendall协同系数为0.921，卡方值为55.255，概率P值为0.000。检验结果表明，在显著性为0.05的情况下，三种方法的评价结果能够通过Kendall协同系数检验，其评价结果在统计意义上具有一致性。 在此基础上，采用前文提到的组合评价方法对三种不同方法下的评价结果进行处理，得到最终组合评价结果（见表2）。
为了进一步将21个实验室进行细化分类，确定各实验室上年工作绩效的等级，在实验室三种客观赋权组合评价的基础上，采用K-均值聚类分析法对21个实验室进行聚类分析。聚类结果表明：
第一，当将所有实验室分为5类时，实验室17为第一类，实验室8、3、21、13、5、2、10为第二类，实验室14、6、9为第三类，实验室20、16、15为第四类，实验室12、1、4、19、11、7、18为第五类。
第二，当将所有实验室分为4类时，实验室17为第一类，实验室8、3、21、13、5为第二类，实验室2、10、14、6、9、20、16、15为第三类，实验室12、1、4、19、11、7、18为第四类。
第三，当将所有实验室分为3类时，实验室17为第一类，实验室8、3、21、13、5、2、10、14、6、9为第二类，实验室20、16、15、12、1、4、19、11、7、18为第三类。
第四，当将所有实验室分为2类时，实验室17为第一类，其他实验室为第二类。
综合以上分类结果，将21个实验室分为四类，如表3所示。
三、结论
实验室评价是促进高校实验室建设与管理的基本手段之一，设计更加客观、合理的评价方法，最大化地剔除评价中的主观人为影响因素，有利于提高实验室评价结果的准确性，更加真实地反映实验室的现实状况，促进实验室建设与管理工作更好地开展。本文基于三种客观赋权评价方法对高校实验室进行了组合评价，并采用Kendall协同系数检验法对评价结果进行一致性检验。与传统的主权赋权评价方法相比，该方法避免了“人”的主观因素导致的评价误差；与单个客观赋权评价方法相比，该方法减少了由算法导致的评价误差。实践证明，在三种客观赋权评价基础上获得的组合评价结果和实验室聚类分级结果具有较高的客观性与准确性。
参考文献：
[1]谢焕英.国家重点实验室评估体系研究[D].大连：大连理工大学，2005.
[2]王成红，何杰，刘克.关于同行评议专家定量评估指标研究的几个新结果[J].系统工程理论与实践，2004，（2）：83-89.
[3]梁小珍，杨丰梅，部慧，等.基于城市金融竞争力评价的我国多层次金融中心体系[J].系统工程理论与实践，2011，31（10）：1847-1857.
[4]黄耿鸿，伍燕青.基于模糊综合评价法的教学型实验室综合评价[J].实验室研究与探索，2011，30（8）：376-381.
[5]郭显光.改进的熵权法及其在经济效益评价中的应用[J].系统工程理论与实践，1998，（12）：98-102.
[6]周梅华.可持续消费测度中的熵权法及其实证研究[J].系统工程理论与实践，2003，23（12）：25-31.
[7]唐万梅.基于灰关联分析的多层次综合评价研究——风险投资项目综合评价模型[J].系统工程理论与实践，2006，26（6）：25-29.
[8]穆瑞，张家泰.基于灰色关联分析的层次综合评价[J].系统工程理论与实践，2008，28（10）：125-130.
[9]汪东华.多元统计分析与SPSS应用[M].上海：华东理工大学出版社，2010.
（责任编辑：孙晴）
关键词：评价；实验室；高校；客观赋权
实验室作为高校教学与科研的实践基地，是高校学生巩固理论知识和培养动手能力的主要场所。近年来，实验室在高校教育科研体系中的地位不断提升。在《国家中长期教育改革和发展规划纲要（2010-2020年）》和《国家中长期人才发展规划纲要（2010-2020年）》等国家规划的指导下，涌现出了一大批国家或部委与高校共建的实验室项目，进一步凸显出高校实验室建设与管理工作的重要性。作为促进高校实验室建设与管理工作的重要工具，实验室评价日益受到高校实验室管理者的青睐，因此，提高实验室评价的准确性成为实验室评价工作的首要问题。
由于评价结果的准确性往往依赖于评价的权重设置与分析方法，因此，设计一套客观、准确、合理的实验室评价方法不仅具有理论研究价值，更具有现实意义。传统的实验室评价主要采用层次分析法或德尔菲法等主观赋权方法设置指标权重，评审专家的个人偏好将对指标权重产生显著影响，可能导致评价结果严重偏离现实状况；[1，2]而单独使用某一种客观赋权评价方法则无法避免由方法自身导致的误差。本文结合多种客观赋权评价方法对高校实验室进行评价，并在对评价结果进行一致性检验和组合分析的基础上，得到最终评价结果，最后采用聚类分析手段对被评价实验室进行分类，在最大化去除人为因素对评价结果的影响的同时，减少了由单个评价方法自身导致的误差，以提高评价结果的客观准确性。
一、评价思路与方法
1.研究思路
通过合理设置专家评分过程和评价方法组合能够有效控制评价结果的不确定性。[3，4]同时，大量研究表明，熵权法、[5，6]灰色关联度分析法[7，8]和主成分分析法[9]等客观赋权评价方法获得了研究人员的青睐。这三种方法均能够避免主观因素的干扰，较好地反映样本间的现实关系，又各有侧重点：熵权法根据观测值提供的信息量大小确定权重；[6]灰色关联度法能够测量各待评对象与理想方案的关联程度；[8]而主成分分析则通过线性变换消除了指标间的相互影响。[9]因此，本文将这三种客观赋权评价方法结合，设计出了一套新的组合型实验室评价方法，如图1所示。在组织专家对实验室进行分指标打分的基础上，采用熵权法、灰色关联度分析法和主成分分析法等客观赋权评价方法对评分数据进行分析与处理。针对不同评价方法产生的评价差异，采用Kendall协同系数法检验其一致性，再将三种方法获得的分数进行组合评价，得到最终评价结果，并根据组合评价结果对实验室进行聚类分析，以获得客观、科学的实验室评价结果。
2.评价方法
在实施实验室评价时，邀请多名专家在听取汇报、查阅资料和现场调研的基础上，对各实验室进行评价。假设共有m个待评实验室，n个评价指标，p名参评专家，i、j、k、S分别为实验室、评价指标、参评专家和指标评价档次（分别为：优、良、中、差）的标号。具体评价过程如下：
（1）设rijks为专家对实验室某二级指标的评级，分别对应二级指标评级中的{优，良，中，差}。当专家k对实验室i的第j个二级评价指标评定级别与S取值相对应时，rijks=1，否则rijks=0。则实验室i的分级评价矩阵为：
，，
（2）在二级指标分级中，根据优、良、中、差代表的分值，得到实验室评价分级得分函数。则实验室i的评价矩阵为：
其中，为实验室i在二级评价指标j下的得分。
（3）分别采用多种客观赋权评价方法对实验室评价矩阵进行处理。使用方法t对实验室i的评价矩阵Xi进行分析与处理，获得评价结果，并根据降序排列对实验室进行排名。
（4）采用kendall协同系数检验法对同一实验室在不同方法下的评价结果进行一致性检验，并在通过一致性检验的基础上，采用以下方法进行组合评价：通过Z-Score标准化将进行处理，获得标准评价值，则实验室i的组合评价最终值：
（5）采用聚类分析法对实验室评价值进行聚类分析，获得实验室评价分类结果。
二、案例分析
为检验客观赋权组合评价方法的现实可操作性，本文选取国内某高校2011年实验室评价指标体系与专家评级数据进行分析。该校为一所教学科研型本科院校，本次评价共有力学实验室等21个实验室（中心）和20名实验室管理专家参加，评价指标体系中共有41个二级指标，二级指标得分分级中的优、良、中、差分别对应90分、75分、60分、45分。采用该校实验室评价指标体系，邀请专家针对各指标进行评分，获得基本评价数据（由于篇幅所限，具体指标体系及各实验室各指标得分略去）。
分别采用熵权法、灰色关联度法和主成分分析法对各实验室进行评价，评价结果如表1所示。
从表1可以看出，采用三种不同评价方法对相同的原始数据进行处理，得到的评价结果在大体相符合的基础上，出现了差异。如多数实验室在不同的方法下，评价名次相同或仅相差一到两名，但7号实验室评价差异较大：在熵权法评价中为第10名，而在灰色关联度分析和主成分分析中为第20名。因此，为了保障评价的客观与科学性，需对三种方法的评价结果进行一致性检验。
采用kendall协同系数检验法对以上三种方法的评价结果进行一致性检验，检验结果显示：Kendall协同系数为0.921，卡方值为55.255，概率P值为0.000。检验结果表明，在显著性为0.05的情况下，三种方法的评价结果能够通过Kendall协同系数检验，其评价结果在统计意义上具有一致性。 在此基础上，采用前文提到的组合评价方法对三种不同方法下的评价结果进行处理，得到最终组合评价结果（见表2）。
为了进一步将21个实验室进行细化分类，确定各实验室上年工作绩效的等级，在实验室三种客观赋权组合评价的基础上，采用K-均值聚类分析法对21个实验室进行聚类分析。聚类结果表明：
第一，当将所有实验室分为5类时，实验室17为第一类，实验室8、3、21、13、5、2、10为第二类，实验室14、6、9为第三类，实验室20、16、15为第四类，实验室12、1、4、19、11、7、18为第五类。
第二，当将所有实验室分为4类时，实验室17为第一类，实验室8、3、21、13、5为第二类，实验室2、10、14、6、9、20、16、15为第三类，实验室12、1、4、19、11、7、18为第四类。
第三，当将所有实验室分为3类时，实验室17为第一类，实验室8、3、21、13、5、2、10、14、6、9为第二类，实验室20、16、15、12、1、4、19、11、7、18为第三类。
第四，当将所有实验室分为2类时，实验室17为第一类，其他实验室为第二类。
综合以上分类结果，将21个实验室分为四类，如表3所示。
三、结论
实验室评价是促进高校实验室建设与管理的基本手段之一，设计更加客观、合理的评价方法，最大化地剔除评价中的主观人为影响因素，有利于提高实验室评价结果的准确性，更加真实地反映实验室的现实状况，促进实验室建设与管理工作更好地开展。本文基于三种客观赋权评价方法对高校实验室进行了组合评价，并采用Kendall协同系数检验法对评价结果进行一致性检验。与传统的主权赋权评价方法相比，该方法避免了“人”的主观因素导致的评价误差；与单个客观赋权评价方法相比，该方法减少了由算法导致的评价误差。实践证明，在三种客观赋权评价基础上获得的组合评价结果和实验室聚类分级结果具有较高的客观性与准确性。
参考文献：
[1]谢焕英.国家重点实验室评估体系研究[D].大连：大连理工大学，2005.
[2]王成红，何杰，刘克.关于同行评议专家定量评估指标研究的几个新结果[J].系统工程理论与实践，2004，（2）：83-89.
[3]梁小珍，杨丰梅，部慧，等.基于城市金融竞争力评价的我国多层次金融中心体系[J].系统工程理论与实践，2011，31（10）：1847-1857.
[4]黄耿鸿，伍燕青.基于模糊综合评价法的教学型实验室综合评价[J].实验室研究与探索，2011，30（8）：376-381.
[5]郭显光.改进的熵权法及其在经济效益评价中的应用[J].系统工程理论与实践，1998，（12）：98-102.
[6]周梅华.可持续消费测度中的熵权法及其实证研究[J].系统工程理论与实践，2003，23（12）：25-31.
[7]唐万梅.基于灰关联分析的多层次综合评价研究——风险投资项目综合评价模型[J].系统工程理论与实践，2006，26（6）：25-29.
[8]穆瑞，张家泰.基于灰色关联分析的层次综合评价[J].系统工程理论与实践，2008，28（10）：125-130.
[9]汪东华.多元统计分析与SPSS应用[M].上海：华东理工大学出版社，2010.
（责任编辑：孙晴）