论文部分内容阅读
摘 要 武汉大学中国科学评价中心于2012年首次推出的“中国高职高专院校竞争力排行榜”，是目前唯一针对高职院校进行综合评价的排名。对其2012-2015年四年评价结果的定量分析发现，该排行榜的稳定性不够，各院校在年度之间的位次动荡太过剧烈;择优性不足，优秀高职院校在排名中毫无优势可言;诸多不合逻辑甚至脱离常识的异常现象频现，严重影响到该排行榜的公信力。
关键词 中国高职高专院校竞争力排行榜;指标体系;数据来源;公信力
中图分类号 G718.5 文献标识码 A 文章编号 1008-3219（2015）27-0050-06
美国高等教育学家菲利普·G·阿尔特巴赫认为，大学之间的竞争和高等教育消费者的选择催生了各种大学排行榜的诞生[1]。在高等教育大众化阶段，高等教育机构的增多和学生入学选择权的扩大，大学成为亟需被公众清晰认知的对象，于是各类大学排行榜应运而生。高职教育历经几十年的发展，高职院校的数量已经占到全国高校数的一半以上，随着国家示范性高职院校和国家骨干高职院校（以下简称“国家示范校”和“国家骨干校”）等国家级建设工程的实施，高职院校的层次性逐渐显现，高职教育内部的竞争日趋激烈。在招生方面，高职院校已逐渐突破省域范围，对于高职院校的“选择性”需求也开始出现。如是，作为中国高等教育大众化的中坚力量，在诸多大学排行榜中理应有高职院校的一席之地。
一、高职院校的排名：可比性与测不准
每一个大学排行榜推出时都会招致猛烈批评，但是大学排行榜的数量和种类仍在呈几何级数递增，到目前为止，“中国先后有二十家机构发布了一百多个大学排行榜”[2]。然而，即使大学排行榜从单一的综合排行榜，演变成重点大学、一般大学，本科教育、研究生教育的分级排名，甚至出现按地区、学科，按科研、人才培养等日渐细化的分类排名，高职院校的排名却迟迟未出现。高职教育消费者的认知需求和高职院校内部竞争的迟滞，固然是影响排行榜出现的重要因素，而主要制约因素则是如何准确评测高职院校的绩效。
本科院校的大学排行榜之所以饱受批评，主要在于研究者认为各级各类大学不具“可比性”，无法在一个指标体系内进行有效的比较[3]。鉴于不同的大学在教学、研究及服务职能上有不同的取向，定位于研究型的大学，科研绩效是其最好的评测指标;于教学型大学而言，科研指标并不适用，而主要体现在人才培养方面;对于广泛存在的地区服务型大学，大学与社会的关联紧密度及社会贡献值才是最重要的评测指标。可见，“可比性”构成了大学排行榜的主要矛盾。作为一个类别的高职院校，在办学定位、服务面向，甚至采取的工学结合、校企合作的人才培养模式方面都显得如此一致，“同质化”要大于“差异性”。然而，高职院校因其对人才培养和社会服务两大职能的侧重，却给这一基于“可比性”基础上的“可测性”带来很大的困难。对本科院校的排名可以用“科研指标”这一不二法门来充分定量，而对适用高职院校的人才培养和社会服务的量化评价还没有一所大学排行机构能够妥善解决。
尽管高职院校的排名因为缺乏可靠的评价指标而可能出现测不准现象，还是有排名机构做了“敢吃螃蟹的第一人”。从2012年开始，由武汉大学邱均平教授主持的武汉大学中国科学评价研究中心（RCCSE）连续4年推出“中国高职高专院校竞争力排行榜”（以下简称“高职排行榜”或“武大版高职排行榜”）①。其评价对象基本覆盖了所有的高职高专院校，2012年为973所（仅针对公办高职），2013年为1289所，2014年为1264所，2015年为1322所。该排行榜以学年为评价周期，即以上学年的数据来表征下学年的排名，如2015年推出的2015-2016年高职排行榜，实际上是对2014-2015年结果的评价。该排行机构在对高职高专院校进行排名时，采用的是与独立学院一致的评价指标，共有一级指标3个（办学条件、人才培养和网络知名度），二级指标13个（删去了只适用独立学院的“本科生数比”指标）。见表1。
二、武大版高职排行榜评价结果分析
一个大学排行榜的公信力，主要取决于三个因素：一是评价指标的科学性;二是数据来源的可靠性;三是评价结果的可信度。其中，更为直观的是从其评价结果来检验排行榜的公信力。
（一）稳定性
稳定性是看一个排行榜是否科学的重要判断依据。因为大学的综合实力和核心竞争力的形成，是一个漫长的积累过程，其不像股市会在短期内出现暴涨暴跌现象。通常一个排行榜在历年的排名中，排位靠前的核心大学在排行榜的位置不会有太大变动，其可能在一个区间内微调，但不会忽上忽下。当前运作比较成熟的各大综合排行榜，基本上前10或20位内的高校在年度之间的变化不会太大。如以武书连、中国校友会网、武汉大学的三大排行榜为例，在2013-2015年三年内前20强高校的重合率分别是95%（19/20）、90%（18/20）和95%（19/20），即基本上三年里只有1～2所大学进出榜单。此外各所高校的位次变化也基本保持稳定，如武书连版在三年内前9位的大学排名完全一致。可见，排名前列的高校会保持基本的稳定性，不会出现十几名甚至几十名的大幅度变动，这也是充分考虑存量和增量关系的结果。
在武大版高职排行榜的2012至2015年前20强名单中，2013年与2012年有17所高校重复，重复率为85%;2014年与2013年有4所高校重复，重复率降至20%;2015年与2014年只有2所重复，重复率达到最低的10%。四年内仅有江苏联合职业技术学院、深圳职业技术学院2所高校能够稳居前20位，四年重复率仅有10%。也就是说，其前20强的排位基本无规律可循。如按排行榜的评价结果，中国顶层的高职院校在四年里出现了剧烈的动荡。但是，近几年高职教育界并没有什么翻天覆地的变化，足以让中国最优秀的高职院校出现“大换血”现象。 我们再选取28所首批国家示范校，考察其2013-2015年三年来在排行榜上位次的变动情况①。从表2可知，28所高职院校都出现了大幅度的排位变动，平均动荡位次达到352位，其中排名变动在100位以内的只有5所，500位以上的却有8所。变动最大的是青岛职业技术学院，在2013年取得最好位次第148位，2015年却跌至第990位，总排名变动值为842位;其次是重庆工业职业技术学院，在2013年最低排名第815位，次年排名却升至第5位，总排名变动值为810位;排名变动最小的是深圳职业技术学院，最高排名第2位，最低排名第13名，总排名变动值为11位。其情状有如今日股市之震荡，高校年度之间的排名可以直达巅峰，亦会直跌谷底。
（二）择优性
而如何判定优秀大学的排位合理性，研究者通常采用的方法是将大学排行榜的结果与官方有关大学的历史评级进行对比。如有研究者将全国125所重点大学与国内4家知名排行机构在2005年的排名情况进行验证，发现“985工程”高校占据着各大排行榜的前30名，“211工程”高校构成了前100位的主体，全国重点大学几乎都在前150位以内，只有极少数的例外[4]。由此，验证了这些排行榜的综合排名与实际情况的相符性。在每年大学排行榜发布时，如果顶尖大学的排名超出了公众的认知，则很有可能整个大学排行榜都会遭受质疑。
在高职领域，也存在如本科院校一样的层次性，最高层是被称为高职“211”的100所国家示范校，第二层次是100所国家骨干校，有些省市还有省级示范校建设项目。国家示范、骨干校内部也有分层，如国家示范校一共分三批：2006年第一批的28所，2007年第二批的42所，2008年第三批的30所;国家骨干校也分三批：2010年第一批的40所，2011年第二批的30所，2012年第三批的30所。如此，优秀高职院校内部已有了7级分层：国家示范3级，国家骨干3级，省级示范1级。在没有出现高职排行榜之前，这一纵向分层体系已经在公众心目中形成了一种默认的排名，只是在每一层级里的位次并无权威的排序。在横向区域层面，东部、中部、西部进一步形成一个层次性梯级。
我们通过统计国家示范、骨干校在武大版高职排行榜前100位的入选情况，来考察其择优性。从表3可知，4年里国家示范校分别有36所、31所、14所、34所入选100强，平均入选率为28.75%，即2/3的国家示范校未能进入全国100强;国家骨干校分别有16所、16所、4所、14所入选100强，4年平均入选率为12.5%，即近九成的骨干校被淘汰出全国100强;4年里国家示范、骨干校累计入选165次，总入选率仅占41.25%，即在历年的入选名单中，一般高职院校的入选几率要远高于国家优秀高职院校。再以首批28所国家示范校为例，在4年里仅有15所进入过前100强，总入选次数是36次;其中，仅有深圳职业技术学院稳定在前20强内，此外再无一所能够连续3次以上进入前20强;28所示范校中，最高排位是2015年排第2位的深圳职业技术学院，最低排位是长春汽车工业高等专科学校在2013年的1264位（该年总共1289所参评），已居全国倒数之列。这一结果表明，国家示范、骨干校在排名中完全没有优势，也就是说，武大版高职排行榜的择优性很低。
（三）省域差异性
大学排行榜的公信力除了由院校层面的稳定性和择优性反映之外，省域在排行榜前列的分布情况是另一项有力的佐证。从当前高职教育的发展情况来看，江苏、广东、浙江、天津、山东等几个沿海省份的高职教育综合实力居于全国前列，这一点直接反映在高职院校的保有量及其入选国家示范、骨干校的数量上。如江苏省拥有全国各省中最多的83所高职院校，其中国家示范校7所，国家骨干校8所，无论单项指标还是综合指标均稳居全国首位，是当之无愧的高职教育最具竞争力的省份;广东省高职院校总数为79所，仅次于江苏省，拥有国家示范校4所，国家骨干校7所;浙江省仅有47所高职院校，全国排名居于中游，排在第14位，但却拥有6所国家示范校，5所国家骨干校，优秀率达到23.4%。在中部地区，河南、湖南等地高职教育的综合实力也不错。西部地区相比东部和中部，综合实力要稍逊一筹。以下通过各省在武大版高职排行榜前100强的分布情况，来验证其与省域高职竞争力的吻合性。
从表4可见，4年里进入前100强数量最多的前五个省份分别是：山东（50所）、江苏（48所）、河南（34所）、内蒙古（24所）、广东（23所）。山东、江苏和广东三省进入前列在情理之中;河南能够排在第3位（有4所示范、3所骨干），尽管有点靠前，但尚在可接受范围之内;但内蒙古超过广东省居于第4位的情况却已然脱离了常识。内蒙古处于高职教育整体发展实力较弱的西部地区，仅有35所高职院校，其中国家示范、骨干校仅各有2所，且没有高校进入过首批国家示范校名单，即使与同处西部地区的陕西、四川、重庆诸省市相比也毫不占优势。但是内蒙古却在4年里共有24所高校进了前100强，平均每年有6所，远超其国家示范、骨干校的总和;2012年进入100强的总量甚至达到了10所，占其高职院校总数的21%。而高职教育整体发展实力都不错的天津、上海、四川三省市，却都出现过某一年没有一所学校进入前100强的情况，而这三个省都拥有1～2所首批国家示范校。所以，从武大版高职排行榜4年的统计情况来看，其评价结果与实际情况的吻合度并不高。
（四）闯入者
对“闯入者”的分析可以考察排名动荡的合理性，窥探其中的非常规性干扰因素。武大版高职排行榜里每年都有成群结队的“黑马”闯进来，并且呈现出一定的规律性。
一是暴涨暴跌现象。在某些年份，一些省份出现了100强入选院校数量的大幅动荡。如江苏省2014年仅有2所高校进入100强，而2012、2013和2015年却几乎都有10多所高校进入100强;河北省2012、2013、2015年都有7所进入100强，2014年却只有1所;北京市2012、2013年都只有2所，2014年却突然暴涨至8所，而2015年再次回到2所;江西、安徽、广西、黑龙江、内蒙古也出现了类似的情况。然而，这些省份的突然增长现象中，扮演着主要角色的却不是国家示范、骨干校，而是一般高职院校。二是省域黑马。如内蒙古以35所高职院校的保有量，4年却总共有24所入选100强。该省2012年排位最高的是一所普通高职学校——乌兰察布医学高等专科学校（第12位），排位超过了另外3所入选的国家示范校——内蒙古建筑职业技术学院（第16位）、内蒙古机电职业技术学院（第38位）和包头职业技术学院（第89位），同时乌兰察布市一共2所高职院校中的另一所——乌兰察布职业学院（第76位）也入选了100强。再以山东为例，在2013年山东省有16所入选100强，只有7所是国家示范或骨干校，其他9所全是一般高职院校;其排名规律呈现出国家优秀高职院校与一般性高职院校夹杂排位;且院校之间的排名带有连续性，如第7、8、9、10四个位次全是山东的高校，前20强名单里山东就占了8席。三是民办院校黑马。我国民办高职的办学实力与优秀公办高职相比，尚有一定的差距，且数量上也并不占优势，如2014年全国拥有1327所高职院校，其中民办高职仅有307所，占比23%。但在武大版高职排行榜中，民办院校却频频挤入排行榜前列。如以2014年为例，见表5，在100强名单中有21所民办高职院校入选。其中，全国前10强中有4所，北京、云南、陕西、山西、河北、湖北、广西7省省内排名第1位的高职院校都是民办高职。而100强中的北京科技职业学院、北京新圆明职业学院、黑龙江三江美术职业学院三所学校曾在2009年被教育部“黄牌”警告限制招生。四是组团现象。即某些类型院校突然成团出现，而且这些新的闯入者排位普遍较高。如以2014年为例，在100强名单中有9所艺术类高职院校，5所护理类高职院校，6所体育类高职院校，这些学校没有一所是国家示范、骨干校，甚至连省级示范校都不是。但其排位却普遍较高，如科尔沁艺术职业学院居第10位;泰山护理学院居第9位，济南护理学院居第11位;福建体育职业技术学院为第26位，该校在2012年、2013年曾两次位列全国第3位。这些学校没有一所是国家示范、骨干校。
三、武大版高职排行榜的指标体系与数据来源存在的问题
为什么武大版高职排行榜会出现如股市涨跌一样让人看不懂的评估结果，也许再从判断大学排行榜公信力的另两个因素：指标体系及其数据来源可窥一斑。
（一）指标体系
武大版高职排行榜设计了3个一级指标，13个二级指标，同时采取定量与定性评测相结合的方式，但其指标体系本身存在较大问题：
一是指标体系过于简单，只到二级指标，对高职院校的评价覆盖面远远不够。而一般大学排行榜的指标设计至少要到三级指标，因为指标的观测点越多，越容易在各个观测点之间形成呼应和互补，从而带来评估结果的科学性和稳定性。二是指标体系带有典型的总量倾向，没有体现质量标准。如其两个重头一级指标“办学条件”和“人才培养”下设的二级指标主要反映的只是规模总量意义，在评价导向上存在重大缺陷。其实《泰晤士报高等教育》的评价指标也只有13个二级指标，但其一级指标包含了“工业收入来源”“国际性”“教学”“研究”“论文引用”共5个一级指标，13个二级指标里仅有“博士学位授予数”和“研究收入”两个总量指标，其他全是反映师均（生均）值或比较值（如国际国内教师比、学生比）的质量导向指标[5]。三是指标体系指向“合格性”评估，而不是“卓越型”评估。如以“办学条件”为三大一级指标之一，“人才培养”一级指标中5个二级指标无一能够体现一所学校的办学质量和卓越程度，通过这一套指标体系来评测高职院校，自然会出现数量和规模取胜的院校排位在前列。如以江苏联合职业技术学院和深圳职业技术学院这一排行榜上的双雄为例，深圳职业技术学院堪比高职领域内的北大、清华，其在高职教育的很多方面都是同类院校的标杆，是“卓越型”的代表性院校;江苏联合职业技术学院是一所典型的超级“航空母舰”，其校区遍布整个江苏省，拥有43所分院、40个办学点、9所高等师范学校。如表6所示，按照此类指标体系，江苏联合职业技术学院当然会远超深圳职业技术学院，但是江苏联合职业技术学院却难以代表高职界的品质，与其说这是一所大学，不如说是一种办学的尝试，是中高职院校的松散联合体。
因指标体系的粗疏及其总量导向、“合格性”评价倾向，导致评估结果无法有效拉开差距。如以武大版高职排行榜公布的前30强评价数据为例，排名第2名与第20名高校的分数差别只有4.314分，第20名与第30名的差别甚至只有0.2146分[6];而在武大版重点大学竞争力排行榜中，第2名与第20名的分差是37分，第20名与第30名的分差也有7.54分[7]。如此细微的差别，一旦一所学校的某项指标出现异常，就可能影响到该校几十位甚至几百位的排名变动。可见，仅凭当前的指标体系设计，根本无法实现全部高职院校的有效排名，同时优秀高职院校也不能在排名中占据优势。
（二）数据来源
武大版高职排行榜宣称其数据来自四个方面：“一是政府部门的统计数据资料，二是国内外有关数据库，三是有关政府部门和高校的网站，四是国家有关刊物、书籍、报纸、内部资料等。”[8]但因其指标体系设计并没有涉及科研数据，所谓的“国内外有关数据库”应该是一个无效的数据来源。从其评测实际来看，数据来源主要有两个方面：一是政府部门的统计数据。当前国家层面对高职院校的系统性数据统计，主要是“高等职业院校人才培养工作状态数据采集与管理平台”（原“高等职业院校人才培养工作状态数据采集平台”）的数据采集，也是当前面向高职院校最权威的数据来源。该数据平台主要指向人才培养，其数据分项设计非常细，能够直观地反映基本办学条件、人才培养的质量和成效。但从武大版高职排行榜的情况来看，课题组显然是对该数据采集结果进行删繁去简，使统计变得便利和直观，但却只保留了一些规模性的和体现办学基本条件的指标，几乎没有保留能够体现办学质量的指标。二是来自高校网站的信息，这类信息来源基本是自报信息，其中的水分可想而知。如以就业率为例，当前的就业统计基本是依据就业协议书和劳动合同的签署来衡定，并非真实的就业情况，且各所高职院校不论是国家示范、骨干校还是普通院校，其所报就业率都不会低，一般会在95%以上。因此，仅凭就业率这一在指标体系里唯一能够反映高职院校办学成就的指标，反而无法拉开相互之间的差距。可见，仅仅依靠这些数据来源，及其所采取的数据处理方式，可能导致某些院校的排位虚高，也可能导致以质量取胜、办学有特色的优秀院校难以在排名中占据优势地位。
四、结论
一个具备公信力的大学排行榜，取决于其指标体系、数据来源及其评测结果之间的相互呼应和支撑，当然还有评价机构客观公正的中立立场。从武汉大学中国科学评价中心推出的“中国高职高专院校竞争力排行榜”的评价结果来看，2012年与2013年的榜单最接近，反映在前15位高校几乎完全一致;2013年与2014年的区隔最为明显，仿佛采取了两套完全不同的指标体系;2014年的榜单问题最大，体现在大量毫无名气的一般性高职院校排名靠前，而且其中脱离常规的现象成团出现;2015年的榜单相对正常，突出反映在大量国家骨干、示范校回归100强榜单，开始与常识相符。因其指标体系设计的天然缺陷，数据处理时的不合理，及其排名过程中不断出现的异常现象，导致整个排行榜缺乏可信度。
参 考 文 献
[1][美]菲利普·G·阿尔特巴赫.大学排行榜之困[J].周岳峰，译.世界教育信息，2006（6）：28-29.原载美国《国际高等教育》杂志2006年冬季号.
[2]郑兴刚.大学排行榜乱象——表现、成因及其治理[J].社会科学论坛，2010（13）：104-111.
[3]颜丙峰，吕朝晖.对我国大学排行榜评价的几点质疑[J].石油大学学报（社会科学版），2004（4）：99-102.
[4]蔡莉，蔡言厚，田金山.中国校友会大学排行榜的理论与实践[J].现代大学教育，2006（1）：75-79.
[5]刘学坤.《泰晤士报高等教育》“世界大学排行榜”的演进——兼论与“高等教育机构排名的柏林原则”的适切性[J].现代大学教育，2011（2）：19-26.
[6][8]邱均平，王菲菲.中国独立学院与公立专科院校评价的理论与实践探析[J].重庆大学学报（社会科学版），2014（3）：88-94.
[7]邱均平，马力，何文静.2015年中国大学竞争力评价与分析[J].中国高校科技，2015（4）：4-12.
关键词 中国高职高专院校竞争力排行榜;指标体系;数据来源;公信力
中图分类号 G718.5 文献标识码 A 文章编号 1008-3219（2015）27-0050-06
美国高等教育学家菲利普·G·阿尔特巴赫认为，大学之间的竞争和高等教育消费者的选择催生了各种大学排行榜的诞生[1]。在高等教育大众化阶段，高等教育机构的增多和学生入学选择权的扩大，大学成为亟需被公众清晰认知的对象，于是各类大学排行榜应运而生。高职教育历经几十年的发展，高职院校的数量已经占到全国高校数的一半以上，随着国家示范性高职院校和国家骨干高职院校（以下简称“国家示范校”和“国家骨干校”）等国家级建设工程的实施，高职院校的层次性逐渐显现，高职教育内部的竞争日趋激烈。在招生方面，高职院校已逐渐突破省域范围，对于高职院校的“选择性”需求也开始出现。如是，作为中国高等教育大众化的中坚力量，在诸多大学排行榜中理应有高职院校的一席之地。
一、高职院校的排名：可比性与测不准
每一个大学排行榜推出时都会招致猛烈批评，但是大学排行榜的数量和种类仍在呈几何级数递增，到目前为止，“中国先后有二十家机构发布了一百多个大学排行榜”[2]。然而，即使大学排行榜从单一的综合排行榜，演变成重点大学、一般大学，本科教育、研究生教育的分级排名，甚至出现按地区、学科，按科研、人才培养等日渐细化的分类排名，高职院校的排名却迟迟未出现。高职教育消费者的认知需求和高职院校内部竞争的迟滞，固然是影响排行榜出现的重要因素，而主要制约因素则是如何准确评测高职院校的绩效。
本科院校的大学排行榜之所以饱受批评，主要在于研究者认为各级各类大学不具“可比性”，无法在一个指标体系内进行有效的比较[3]。鉴于不同的大学在教学、研究及服务职能上有不同的取向，定位于研究型的大学，科研绩效是其最好的评测指标;于教学型大学而言，科研指标并不适用，而主要体现在人才培养方面;对于广泛存在的地区服务型大学，大学与社会的关联紧密度及社会贡献值才是最重要的评测指标。可见，“可比性”构成了大学排行榜的主要矛盾。作为一个类别的高职院校，在办学定位、服务面向，甚至采取的工学结合、校企合作的人才培养模式方面都显得如此一致，“同质化”要大于“差异性”。然而，高职院校因其对人才培养和社会服务两大职能的侧重，却给这一基于“可比性”基础上的“可测性”带来很大的困难。对本科院校的排名可以用“科研指标”这一不二法门来充分定量，而对适用高职院校的人才培养和社会服务的量化评价还没有一所大学排行机构能够妥善解决。
尽管高职院校的排名因为缺乏可靠的评价指标而可能出现测不准现象，还是有排名机构做了“敢吃螃蟹的第一人”。从2012年开始，由武汉大学邱均平教授主持的武汉大学中国科学评价研究中心（RCCSE）连续4年推出“中国高职高专院校竞争力排行榜”（以下简称“高职排行榜”或“武大版高职排行榜”）①。其评价对象基本覆盖了所有的高职高专院校，2012年为973所（仅针对公办高职），2013年为1289所，2014年为1264所，2015年为1322所。该排行榜以学年为评价周期，即以上学年的数据来表征下学年的排名，如2015年推出的2015-2016年高职排行榜，实际上是对2014-2015年结果的评价。该排行机构在对高职高专院校进行排名时，采用的是与独立学院一致的评价指标，共有一级指标3个（办学条件、人才培养和网络知名度），二级指标13个（删去了只适用独立学院的“本科生数比”指标）。见表1。
二、武大版高职排行榜评价结果分析
一个大学排行榜的公信力，主要取决于三个因素：一是评价指标的科学性;二是数据来源的可靠性;三是评价结果的可信度。其中，更为直观的是从其评价结果来检验排行榜的公信力。
（一）稳定性
稳定性是看一个排行榜是否科学的重要判断依据。因为大学的综合实力和核心竞争力的形成，是一个漫长的积累过程，其不像股市会在短期内出现暴涨暴跌现象。通常一个排行榜在历年的排名中，排位靠前的核心大学在排行榜的位置不会有太大变动，其可能在一个区间内微调，但不会忽上忽下。当前运作比较成熟的各大综合排行榜，基本上前10或20位内的高校在年度之间的变化不会太大。如以武书连、中国校友会网、武汉大学的三大排行榜为例，在2013-2015年三年内前20强高校的重合率分别是95%（19/20）、90%（18/20）和95%（19/20），即基本上三年里只有1～2所大学进出榜单。此外各所高校的位次变化也基本保持稳定，如武书连版在三年内前9位的大学排名完全一致。可见，排名前列的高校会保持基本的稳定性，不会出现十几名甚至几十名的大幅度变动，这也是充分考虑存量和增量关系的结果。
在武大版高职排行榜的2012至2015年前20强名单中，2013年与2012年有17所高校重复，重复率为85%;2014年与2013年有4所高校重复，重复率降至20%;2015年与2014年只有2所重复，重复率达到最低的10%。四年内仅有江苏联合职业技术学院、深圳职业技术学院2所高校能够稳居前20位，四年重复率仅有10%。也就是说，其前20强的排位基本无规律可循。如按排行榜的评价结果，中国顶层的高职院校在四年里出现了剧烈的动荡。但是，近几年高职教育界并没有什么翻天覆地的变化，足以让中国最优秀的高职院校出现“大换血”现象。 我们再选取28所首批国家示范校，考察其2013-2015年三年来在排行榜上位次的变动情况①。从表2可知，28所高职院校都出现了大幅度的排位变动，平均动荡位次达到352位，其中排名变动在100位以内的只有5所，500位以上的却有8所。变动最大的是青岛职业技术学院，在2013年取得最好位次第148位，2015年却跌至第990位，总排名变动值为842位;其次是重庆工业职业技术学院，在2013年最低排名第815位，次年排名却升至第5位，总排名变动值为810位;排名变动最小的是深圳职业技术学院，最高排名第2位，最低排名第13名，总排名变动值为11位。其情状有如今日股市之震荡，高校年度之间的排名可以直达巅峰，亦会直跌谷底。
（二）择优性
而如何判定优秀大学的排位合理性，研究者通常采用的方法是将大学排行榜的结果与官方有关大学的历史评级进行对比。如有研究者将全国125所重点大学与国内4家知名排行机构在2005年的排名情况进行验证，发现“985工程”高校占据着各大排行榜的前30名，“211工程”高校构成了前100位的主体，全国重点大学几乎都在前150位以内，只有极少数的例外[4]。由此，验证了这些排行榜的综合排名与实际情况的相符性。在每年大学排行榜发布时，如果顶尖大学的排名超出了公众的认知，则很有可能整个大学排行榜都会遭受质疑。
在高职领域，也存在如本科院校一样的层次性，最高层是被称为高职“211”的100所国家示范校，第二层次是100所国家骨干校，有些省市还有省级示范校建设项目。国家示范、骨干校内部也有分层，如国家示范校一共分三批：2006年第一批的28所，2007年第二批的42所，2008年第三批的30所;国家骨干校也分三批：2010年第一批的40所，2011年第二批的30所，2012年第三批的30所。如此，优秀高职院校内部已有了7级分层：国家示范3级，国家骨干3级，省级示范1级。在没有出现高职排行榜之前，这一纵向分层体系已经在公众心目中形成了一种默认的排名，只是在每一层级里的位次并无权威的排序。在横向区域层面，东部、中部、西部进一步形成一个层次性梯级。
我们通过统计国家示范、骨干校在武大版高职排行榜前100位的入选情况，来考察其择优性。从表3可知，4年里国家示范校分别有36所、31所、14所、34所入选100强，平均入选率为28.75%，即2/3的国家示范校未能进入全国100强;国家骨干校分别有16所、16所、4所、14所入选100强，4年平均入选率为12.5%，即近九成的骨干校被淘汰出全国100强;4年里国家示范、骨干校累计入选165次，总入选率仅占41.25%，即在历年的入选名单中，一般高职院校的入选几率要远高于国家优秀高职院校。再以首批28所国家示范校为例，在4年里仅有15所进入过前100强，总入选次数是36次;其中，仅有深圳职业技术学院稳定在前20强内，此外再无一所能够连续3次以上进入前20强;28所示范校中，最高排位是2015年排第2位的深圳职业技术学院，最低排位是长春汽车工业高等专科学校在2013年的1264位（该年总共1289所参评），已居全国倒数之列。这一结果表明，国家示范、骨干校在排名中完全没有优势，也就是说，武大版高职排行榜的择优性很低。
（三）省域差异性
大学排行榜的公信力除了由院校层面的稳定性和择优性反映之外，省域在排行榜前列的分布情况是另一项有力的佐证。从当前高职教育的发展情况来看，江苏、广东、浙江、天津、山东等几个沿海省份的高职教育综合实力居于全国前列，这一点直接反映在高职院校的保有量及其入选国家示范、骨干校的数量上。如江苏省拥有全国各省中最多的83所高职院校，其中国家示范校7所，国家骨干校8所，无论单项指标还是综合指标均稳居全国首位，是当之无愧的高职教育最具竞争力的省份;广东省高职院校总数为79所，仅次于江苏省，拥有国家示范校4所，国家骨干校7所;浙江省仅有47所高职院校，全国排名居于中游，排在第14位，但却拥有6所国家示范校，5所国家骨干校，优秀率达到23.4%。在中部地区，河南、湖南等地高职教育的综合实力也不错。西部地区相比东部和中部，综合实力要稍逊一筹。以下通过各省在武大版高职排行榜前100强的分布情况，来验证其与省域高职竞争力的吻合性。
从表4可见，4年里进入前100强数量最多的前五个省份分别是：山东（50所）、江苏（48所）、河南（34所）、内蒙古（24所）、广东（23所）。山东、江苏和广东三省进入前列在情理之中;河南能够排在第3位（有4所示范、3所骨干），尽管有点靠前，但尚在可接受范围之内;但内蒙古超过广东省居于第4位的情况却已然脱离了常识。内蒙古处于高职教育整体发展实力较弱的西部地区，仅有35所高职院校，其中国家示范、骨干校仅各有2所，且没有高校进入过首批国家示范校名单，即使与同处西部地区的陕西、四川、重庆诸省市相比也毫不占优势。但是内蒙古却在4年里共有24所高校进了前100强，平均每年有6所，远超其国家示范、骨干校的总和;2012年进入100强的总量甚至达到了10所，占其高职院校总数的21%。而高职教育整体发展实力都不错的天津、上海、四川三省市，却都出现过某一年没有一所学校进入前100强的情况，而这三个省都拥有1～2所首批国家示范校。所以，从武大版高职排行榜4年的统计情况来看，其评价结果与实际情况的吻合度并不高。
（四）闯入者
对“闯入者”的分析可以考察排名动荡的合理性，窥探其中的非常规性干扰因素。武大版高职排行榜里每年都有成群结队的“黑马”闯进来，并且呈现出一定的规律性。
一是暴涨暴跌现象。在某些年份，一些省份出现了100强入选院校数量的大幅动荡。如江苏省2014年仅有2所高校进入100强，而2012、2013和2015年却几乎都有10多所高校进入100强;河北省2012、2013、2015年都有7所进入100强，2014年却只有1所;北京市2012、2013年都只有2所，2014年却突然暴涨至8所，而2015年再次回到2所;江西、安徽、广西、黑龙江、内蒙古也出现了类似的情况。然而，这些省份的突然增长现象中，扮演着主要角色的却不是国家示范、骨干校，而是一般高职院校。二是省域黑马。如内蒙古以35所高职院校的保有量，4年却总共有24所入选100强。该省2012年排位最高的是一所普通高职学校——乌兰察布医学高等专科学校（第12位），排位超过了另外3所入选的国家示范校——内蒙古建筑职业技术学院（第16位）、内蒙古机电职业技术学院（第38位）和包头职业技术学院（第89位），同时乌兰察布市一共2所高职院校中的另一所——乌兰察布职业学院（第76位）也入选了100强。再以山东为例，在2013年山东省有16所入选100强，只有7所是国家示范或骨干校，其他9所全是一般高职院校;其排名规律呈现出国家优秀高职院校与一般性高职院校夹杂排位;且院校之间的排名带有连续性，如第7、8、9、10四个位次全是山东的高校，前20强名单里山东就占了8席。三是民办院校黑马。我国民办高职的办学实力与优秀公办高职相比，尚有一定的差距，且数量上也并不占优势，如2014年全国拥有1327所高职院校，其中民办高职仅有307所，占比23%。但在武大版高职排行榜中，民办院校却频频挤入排行榜前列。如以2014年为例，见表5，在100强名单中有21所民办高职院校入选。其中，全国前10强中有4所，北京、云南、陕西、山西、河北、湖北、广西7省省内排名第1位的高职院校都是民办高职。而100强中的北京科技职业学院、北京新圆明职业学院、黑龙江三江美术职业学院三所学校曾在2009年被教育部“黄牌”警告限制招生。四是组团现象。即某些类型院校突然成团出现，而且这些新的闯入者排位普遍较高。如以2014年为例，在100强名单中有9所艺术类高职院校，5所护理类高职院校，6所体育类高职院校，这些学校没有一所是国家示范、骨干校，甚至连省级示范校都不是。但其排位却普遍较高，如科尔沁艺术职业学院居第10位;泰山护理学院居第9位，济南护理学院居第11位;福建体育职业技术学院为第26位，该校在2012年、2013年曾两次位列全国第3位。这些学校没有一所是国家示范、骨干校。
三、武大版高职排行榜的指标体系与数据来源存在的问题
为什么武大版高职排行榜会出现如股市涨跌一样让人看不懂的评估结果，也许再从判断大学排行榜公信力的另两个因素：指标体系及其数据来源可窥一斑。
（一）指标体系
武大版高职排行榜设计了3个一级指标，13个二级指标，同时采取定量与定性评测相结合的方式，但其指标体系本身存在较大问题：
一是指标体系过于简单，只到二级指标，对高职院校的评价覆盖面远远不够。而一般大学排行榜的指标设计至少要到三级指标，因为指标的观测点越多，越容易在各个观测点之间形成呼应和互补，从而带来评估结果的科学性和稳定性。二是指标体系带有典型的总量倾向，没有体现质量标准。如其两个重头一级指标“办学条件”和“人才培养”下设的二级指标主要反映的只是规模总量意义，在评价导向上存在重大缺陷。其实《泰晤士报高等教育》的评价指标也只有13个二级指标，但其一级指标包含了“工业收入来源”“国际性”“教学”“研究”“论文引用”共5个一级指标，13个二级指标里仅有“博士学位授予数”和“研究收入”两个总量指标，其他全是反映师均（生均）值或比较值（如国际国内教师比、学生比）的质量导向指标[5]。三是指标体系指向“合格性”评估，而不是“卓越型”评估。如以“办学条件”为三大一级指标之一，“人才培养”一级指标中5个二级指标无一能够体现一所学校的办学质量和卓越程度，通过这一套指标体系来评测高职院校，自然会出现数量和规模取胜的院校排位在前列。如以江苏联合职业技术学院和深圳职业技术学院这一排行榜上的双雄为例，深圳职业技术学院堪比高职领域内的北大、清华，其在高职教育的很多方面都是同类院校的标杆，是“卓越型”的代表性院校;江苏联合职业技术学院是一所典型的超级“航空母舰”，其校区遍布整个江苏省，拥有43所分院、40个办学点、9所高等师范学校。如表6所示，按照此类指标体系，江苏联合职业技术学院当然会远超深圳职业技术学院，但是江苏联合职业技术学院却难以代表高职界的品质，与其说这是一所大学，不如说是一种办学的尝试，是中高职院校的松散联合体。
因指标体系的粗疏及其总量导向、“合格性”评价倾向，导致评估结果无法有效拉开差距。如以武大版高职排行榜公布的前30强评价数据为例，排名第2名与第20名高校的分数差别只有4.314分，第20名与第30名的差别甚至只有0.2146分[6];而在武大版重点大学竞争力排行榜中，第2名与第20名的分差是37分，第20名与第30名的分差也有7.54分[7]。如此细微的差别，一旦一所学校的某项指标出现异常，就可能影响到该校几十位甚至几百位的排名变动。可见，仅凭当前的指标体系设计，根本无法实现全部高职院校的有效排名，同时优秀高职院校也不能在排名中占据优势。
（二）数据来源
武大版高职排行榜宣称其数据来自四个方面：“一是政府部门的统计数据资料，二是国内外有关数据库，三是有关政府部门和高校的网站，四是国家有关刊物、书籍、报纸、内部资料等。”[8]但因其指标体系设计并没有涉及科研数据，所谓的“国内外有关数据库”应该是一个无效的数据来源。从其评测实际来看，数据来源主要有两个方面：一是政府部门的统计数据。当前国家层面对高职院校的系统性数据统计，主要是“高等职业院校人才培养工作状态数据采集与管理平台”（原“高等职业院校人才培养工作状态数据采集平台”）的数据采集，也是当前面向高职院校最权威的数据来源。该数据平台主要指向人才培养，其数据分项设计非常细，能够直观地反映基本办学条件、人才培养的质量和成效。但从武大版高职排行榜的情况来看，课题组显然是对该数据采集结果进行删繁去简，使统计变得便利和直观，但却只保留了一些规模性的和体现办学基本条件的指标，几乎没有保留能够体现办学质量的指标。二是来自高校网站的信息，这类信息来源基本是自报信息，其中的水分可想而知。如以就业率为例，当前的就业统计基本是依据就业协议书和劳动合同的签署来衡定，并非真实的就业情况，且各所高职院校不论是国家示范、骨干校还是普通院校，其所报就业率都不会低，一般会在95%以上。因此，仅凭就业率这一在指标体系里唯一能够反映高职院校办学成就的指标，反而无法拉开相互之间的差距。可见，仅仅依靠这些数据来源，及其所采取的数据处理方式，可能导致某些院校的排位虚高，也可能导致以质量取胜、办学有特色的优秀院校难以在排名中占据优势地位。
四、结论
一个具备公信力的大学排行榜，取决于其指标体系、数据来源及其评测结果之间的相互呼应和支撑，当然还有评价机构客观公正的中立立场。从武汉大学中国科学评价中心推出的“中国高职高专院校竞争力排行榜”的评价结果来看，2012年与2013年的榜单最接近，反映在前15位高校几乎完全一致;2013年与2014年的区隔最为明显，仿佛采取了两套完全不同的指标体系;2014年的榜单问题最大，体现在大量毫无名气的一般性高职院校排名靠前，而且其中脱离常规的现象成团出现;2015年的榜单相对正常，突出反映在大量国家骨干、示范校回归100强榜单，开始与常识相符。因其指标体系设计的天然缺陷，数据处理时的不合理，及其排名过程中不断出现的异常现象，导致整个排行榜缺乏可信度。
参 考 文 献
[1][美]菲利普·G·阿尔特巴赫.大学排行榜之困[J].周岳峰，译.世界教育信息，2006（6）：28-29.原载美国《国际高等教育》杂志2006年冬季号.
[2]郑兴刚.大学排行榜乱象——表现、成因及其治理[J].社会科学论坛，2010（13）：104-111.
[3]颜丙峰，吕朝晖.对我国大学排行榜评价的几点质疑[J].石油大学学报（社会科学版），2004（4）：99-102.
[4]蔡莉，蔡言厚，田金山.中国校友会大学排行榜的理论与实践[J].现代大学教育，2006（1）：75-79.
[5]刘学坤.《泰晤士报高等教育》“世界大学排行榜”的演进——兼论与“高等教育机构排名的柏林原则”的适切性[J].现代大学教育，2011（2）：19-26.
[6][8]邱均平，王菲菲.中国独立学院与公立专科院校评价的理论与实践探析[J].重庆大学学报（社会科学版），2014（3）：88-94.
[7]邱均平，马力，何文静.2015年中国大学竞争力评价与分析[J].中国高校科技，2015（4）：4-12.