基于z指数的科研机构评价的有效性实证研究

来源 :现代情报 | 被引量 : 0次 | 上传用户:hxffxh2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  〔摘要〕[目的/意义]对基于z指数的科研机构评价有效性进行实证研究,旨在为科学合理地评价科研机构学术影响力探寻新的视角和方法。[方法/过程]本文采用新的综合性评价指标——z指数,以Muscular Dystrophy研究领域最具代表性的25家机构为样本,通过计算分析目标数据的z指数、h指数、p指数、总发文量、总被引次数和平均被引率、一致性指标η,验证了利用z指數评价机构学术影响力的有效性。[结果/结论]结果表明z 指数是一个3D效能指标并具有高灵敏性和稳定性。同时也指出z指数存在诸如低引用长尾严重影响z指数大小、高核区论文被引的增加会对z指数产生副作用、忽略专利等其他科研形式的作用的缺陷,为后续研究奠定基础。
  〔关键词〕z指数;p 指数;引文分布;相关性
  DOI:10.3969/j.issn.1008-0821.2018.05.012
  〔中图分类号〕G304〔文献标识码〕A〔文章编号〕1008-0821(2018)05-0082-05
  〔Abstract〕[Purpose/Significance]Application of z-index to institutions evaluation aimed to explore new perspectives and methods for scientific and rational evaluation η of institutions.[Method/Process]In this paper,the z-index hat was used to calculatet the h-index,the p-inedx,the number of articles,the citation frequency,the average citation frequency and the consistency term of core institutions in muscular dystrophy.And the relevance was analyzed.The paper used an empirical study to analyze the effect of z-index in institutions evaluation.[Result/Conclusion]Results showed that z-index was a measure that combines all three attributes,namely,quality,quantity,and consistency into a single number and was high sensitivity and stability.However,this paper found that z-index had also disadvantage such as low citing long tail seriously affects the size of z-index,the increased citation of high core papers would have a side effect on the z-index and ignoring the role of other forms of scientific research such as patents,which laid the foundation for future research.
  〔Key words〕z -index;p -index;citation distribution;relevance
  科研机构的学术成果评价在科研活动中具有重要作用,基本每一项研究评审决策,包括科研经费预算的制定、审批研究项目等,都很大程度上取决于被评价机构的学术影响力。如何科学合理地对机构学术影响力进行评价,对推动科研机构学术成果的发展与创新具有重要的意义。对科研机构的评价分为定性评价和定量评价,基于文献计量分析方法的机构评价是除同行评议这种基于专家的定性评价外最重要的定量分析方法。
  2005年Hirsch一经提出以h指数评价科研人员影响力,就被迅速应用于诸如学术期刊、科研机构、学者、国家的评价的科研评价中。2006年Prathap提出了适用于评价机构科研实力的机构h指数[1],并给出机构h1和h2指数,其中机构h1指数计算方法为机构发表的论文中有h1篇论文的被引频次至少是h1次,机构h2指数计算方法为机构内的科研人员中有h2个科研人员的h指数都至少为h2。Prathap所提出的h1指数直接用于评价科研机构,而h2指数需要考虑机构内每个成员的h指数[2]。2010年Prathap提出了一个模拟h指数的指标p指数,并认为该指标能够提高评价结果的分辨率。
  但是h和p指数用于机构评价的不足也在使用中逐渐凸显出来,如h指数对有效核外的低被引论文和有效核内的高被引论文都不太敏感。有效核内的高被引论文的被引用次数增加也不会在h指数上体现出来,这对论文数量相对较少但拥有高被引论文的科研机构非常不利;p指数不能体现总量相等的引文数在单篇论文上的分布情况。
  为了改进p指数不能反映引文分布的集中情况的缺陷,p指数的提出者Prathap于2014年提出了一个新的综合计量指标——z指数[3]。Prathap认为z指数属于3D能效型指标,并认为其相较于传统评价指标级别更高。由于z指数是一个全新的机构学术影响力评价指标,目前国外对z指数的研究[4-8]主要是由Prathap利用Web of Sciecne开展的。但目前国内仅有对z指数对学者和期刊影响力的研究[9-10]。因此本文拟以Muscular Dystrophy研究领域最具代表性的15家科研机构为样本,利用z指数对科研机构进行评价,为进一步将z指数实际应用于科研机构评价提供参考。   1z指数的内涵及计算方法
  Prathap继2010年提出p指数之后于2014年提出了一个综合性评价指标——z指数,。Prathap认为由于z指数将能反映数量因素的P(总发文量)、反映质量因素的i(平均被引率),描述被引用集中程度的η有机地融合在单个指数中,因此可以被称作Quantity-Quality-Consistency者Volume-Velocity-Variety(Variability)的3D效能評价指标。其中P为文献总数;i为平均被引率;η为引文分布变化的一致性指标η=X/E=(C2/P)/∑C2k, k=1 to p。
  2基于z指数的科研机构评价实证分析
  21评价对象与数据来源
  本文以Web of Science中的Science Citation Index Expanded(SCI-EXPANDED)为数据来源,选取2012-2016年在Muscular Dystrophy研究领域最具代表性的15家科研机构,统计计算了2012-2016年25家科研机构的总发文量、总被引频次、平均被引率、一致性指标η、h指数、p指数、z指数,表格中机构顺序按z指数排名,并对应列出h指数排名和p指数排名,如表1所示。本文利用TDA(Thomson Data Analyzer)以及SPSS200等进行数据处理及分析。
  22评价结果分析
  221z指数与p指数以及h指数排名分析
  1)z指数和p指数排名一致的机构
  从表1可以看出,25个样本机构中,HARVARD UNIV、UNIV FLORIDA、NEWCASTLE UNIV、UNIV SAO PAULO、OHIO STATE UNIV、UNIV IOWA共计6家机构具有相同的z指数和p指数的排名。HARVARD UNIV虽然总发文量并不特别突出,仅位居第6,其引文分布的一致性指标η<03表明其引文分布情况集中程度并不算低,153篇文献中有高达348次引用的文献,也有0次引用的文献,但是其平均被引率遥遥领先,153篇总发文量中有10篇Highly Cited in Field和2篇Hot Papers in Field,所以超高的平均被引率大大弥补了总发文量和被引集中程度的不足,最终无论以z指数、h指数还是p指数排名均列居榜首。UNIV FLORIDA、OHIO STATE UNIV、UNIV IOWA、UNIV SAO PAULO这4家机构的引文分布情况集中程度相对比价居中,其引文分布的一致性指标027>η>024,所以具有相同的z指数和p指数的排名。NEWCASTLE UNIV虽然η=0307,但是究其原因是由于其临近的机构的引文分布情况更加平均。由此可见,无论z指数还是h指数还是p指数均是综合性的评价指标,都能一定程度上反映科研机构的质量和数量。
  2)z指数排名领先于p指数排名的机构
  分析z指数排名领先于p指数排名的9家机构UNIV PARIS 06、UNIV OXFORD、UNIV ROCHESTER、UNIV CALIF LOS ANGELES、CHILDRENS NATL MED CT、UNIV MILAN、UCL、INSERM、NATL CTR NEUROL PSYCHIAT,其引文分布的一致性指标η都相对较高,η≥031明显高于25家机构η的平均值。这9家机构由于引文分布情况集中程度相对很低,提升了原本由总发文量和平均被引率所决定的排名,最终导致这9家机构的z指数排名高于p指数排名。并且η值越大,对最终的排名拉升的作用越大,η=0423的CHILDRENS NATL MED CTR由p指数排名的第14位,提升到z指数排名的第7位。由此可见,引文分布情况集中程度越低,也就是引文分布越均匀,z值排位会相对较高。
  3)z指数排名落后于p指数排名的机构
  比较z指数排名落后于p指数排名的10家机构UNIV PENN、UNIV WASHINGTON、UNIV WASHINGTON、WASHINGTON UNIV、NATIONWIDE CHILDRENS HOSP、UNIV PADUA、RADBOUD UNIV NIJMEGEN、UCL INST CHILD HLTH、UNIV CALIF DAVIS、CINCINNATI CHILDRENS HOSP MED CTR,除了UNIV WASHINGTON,其他9家机构的引文分布的一致性指标η<03。虽然UNIV WASHINGTON的η=0307,究其原因是由于和它临近的CHILDRENS NATL MED CTR其η=0423,导致UNIV WASHINGTON的排名被CHILDRENS NATL MED CTR超越。并且η值越小,对最终排名的副作用越大。η=0166的UNIV WASHINGTON由p指数排名的第3位,降低到z指数排名的第10位。因此引文分布情况集中程度越高,也就是引文分布越不均匀,z值排位会相对降低。
  222z指数与总发文量、总被引次数及平均被引率的关系
  通过对25家机构的z指数、总发文量、总被引次数及平均被引率相关性分析,如表2所示,发现z指数与总被引次数在001水平(双侧)上显著相关,其相关系数为0893,说明z指数对于总被引次数具有较强的敏感性。
  平均被引率是一种展现机构的学术影响力复合指标,能够有效地避免只盲目追求论文数量,而忽视论文质量的情况。z指数与平均被引率存在显著相关性,在001水平(双侧)上显著相关,其相关系数为0833。当论文平均被引率降低或者提高时,z指数都能及时反应这一变化。可以看出z指数能很好地考虑质量因素。
  科研机构的论文产出数量能在一定程度上反映科研机构的学术能力和科研水平,但并不能直接体现科研机构的学术影响力。z指数与总发文量在005水平(双侧)上显著相关,其相关系数为0419,由此表明z指数即对总发文量有要求,也对每篇文献的影响力有诉求。   223z指数与h指数及p指数的关系
  为了更好辨析z指数与h指数及p指数的关系,本文将从描述性统计结果、内涵以及相关性3个维度来进行分析。
  1)通过对25家机构的z指数、h指数及p指数描述性统计结果分析,如表3所示,z指数平均值  2)通过对比分析z指数与h指数及p指数的内涵:
  h指数的计算方法:如某一机构发表的Np篇论文中,被引次数不少于h次的论文有h篇,而其他(Np-h)篇论文的被引次数都小于等于h,那么家机构的h指数则为h[11];
  p指数的计算公式:p=(C2/P)1/3[12],其中P为文献总数,C为被引总数;
  z指数的计算公式见公式(1)和公式(2)。
  从h指数的计算方法可以看出,h指数的计算一定程度兼顾了质量和数量,并能体现一定的引文分布情况。但同时h指数的计算具有完全忽视绩效核内的高被引和绩效核外低被引论文的缺陷并且容易受到机构规模的影响,对于论文被引频次很高,但规模小的机构,其h指数受机构规模影响,论文总数不会很高,h指数也不会太高;对于机构规模大,但论文被引频次并不高的机构,其h指数肯定也不高;只有当机构规模大,总发文量大,同时大多数论文均具有高被引频次时,h指数才会高[13]。
  P指数的计算可以看作“几何平均数”的概念,其计算将总发文量和平均被引率均囊括进去,无论高被引还是低被引的论文都一视同仁计入结果,弥补了h指数对视绩效核内的高被引和绩效核外低被引论文忽视的缺点。但是与此同时带来的问题也凸显出来,p指数虽然很好地实现了被评价对象的数量和质量的平衡,但是由于其平均计算每一篇文献的代价是完全无法体现被引分布的情况。
  对比z指数和p指数的计算公式不难发现,其实z指数是在p指数的基础上加上了一个体现引文分布的指标η,而η的计算来源于经济学中一种测量集中度的综合指数Herfindahl-Hirschman Index(HHI)的思路。η是一个小于等于1指标,只有当引文绝对平均分布时,η=1;η的值越小,表明引文的集中程度越高。由于η的加入,使得z指数在延续了p指数能兼顾评价对象的数量和质量的同时,也能很好的描述整个引文分布的情况。
  3)通过对25家机构的z指数、h指数及p指数相关性分析,如表4所示,z指数与h指数存在显著相关性,在001水平(双侧)上显著相关,其相关系数为0941,说明z指数能很好地模拟h指数,继承了h指数能兼顾数量和质量并能一定程度描述引文分布曲线的优点。z指数与p指数在001水平(双侧)上显著相关,其相关系数为0924,表明z指数延续了p指数能较好实现科研产出的质量和数量的平衡的优点。
  3基于z指数科研机构评价的思考
  31基于z指数科研机构评价的优势
  311基于z指数科研机构评价能有效结合质量因素、数量因素和引文分布情况
  通过321、322及323分析可以看出,利用z指数对科研机构进行评价有很好的理论基础,其提出的过程充分考虑了以往传统评价指标(总发文量、总被引次数、平均被引率、h指数、p指数)的关系,在考量了质量和数量因素的同时还很好地考虑到了引文的分布情况。
  312高灵敏性和稳定性
  为了验证z指数的灵敏性,本文分别将UNIV WASHINGTON引文分布按照被引次数的降序进行排列,如图1所示,UNIV WASHINGTON的154篇文献中序号1的文献(被引次数最高)增加一次被引(情况1)、将文献中序号2的文献(被引次数第2)增加一次被引(情况2)、将文献中序号1的文献(被引次数最高)减少一次被引(情况3)、将文献中序号2的文献(被引次数第2)减少一次被引(情况4)。情况1和2由于被引总数增加,而总发文量不变,所以情况1和2的p指数都同时由变化前的3699162提高为3700045,h指数保持不变。而情况1和2的η分别变化为0165519838和0165593427,z指数分别变化为2031532313和2031833335。情况3和4由于被引总数有所减少,而总发文量不变,所以情况3和4的p指数都同时减少为3698278823,h指数保持不变。而情况3和4的η分别变化为0165998865和016592481,z指数分别变化为2032519357和2032217063。由此可见,相较于h指数和p指数,z指数具有很高的灵敏性,无论增加或者减少的每一篇发文还是获得的每一次被引有所变化都会引起z指数的相应变化。当总引用次数、平均被引率及引文分布情况发生微小变动时,z指数值不会出现大的波动和起伏,也使z指数在具有高灵敏性的同时也具有一定的稳定性。
  32基于z指数科研机构评价的缺陷
  321低引用长尾严重影响z指数大小
  为了检验低引用论文对z指数数值的影响,本文分别将UNIV WASHINGTON引文分布图1中的154篇引用次数小于等于1的文献删除(共删除28篇文獻)(情况5),在前126篇文献不变的情况下,由于这28篇文献的减少,z指数增加到了2314602589,η也提高到了0201731369。由此可以看出,低引用论文的增长反而会对p指数产生负面影响。但是对于低引用长尾并不能一概而论,而应该根据具体情况区别对待。比如有一部分低引用长尾现象并不是由于研究质量低引起的,而是由于该领域的研究并不热门或研究过于深奥得不到其他研究响应导致的[14]。
  322高核区论文被引的增加会对z指数产生副作用
其他文献
研究了常压下温度、搅拌强度、铑初始浓度、盐酸浓度、氯离子浓度等对氢还原铑反应速效的影响。结果表明,氢还原铑是一均相沉淀过程,与铑初始浓度有关,不受品种的影响。还原分二
<正>明李淳《大字结构八十四法》:"让左,须左昂而右低,若右边有谦逊之象。"如"助、幼、即、却"等字。"让右,宜右耸而左平,若左边有固逊之仪。"如"晴、绩、峙"等字。字头字脚
目的探讨D-二聚体检测对于下肢深静脉血栓形成(DVT)诊断的临床价值。方法对80例疑诊为DVT的患者(患者组)及61例健康体检者(对照组)血浆中的D-二聚体进行定量检测,并对检测结
民办高等教育是我国高等教育事业的组成部分,树立21世纪的民办高等教育科学发展观,是民办高等教育可持续发展的前提。文章在研究教育上的可持续发展战略内涵的基础上,分析了
近年来,公共服务提供者从服务对象处接收的人际压力日益成为研究的热点话题。其中,作为一类典型的源于服务对象的人际压力源,服务对象不当行为常对公共部门员工工作行为和心理造成极大影响。对于白俄罗斯共和国公立医院的医生来说,他们是代表国家为人民提供公共医疗服务的人员,属于国家公务员。一般而言,公立医院的医疗服务是免费提供的,但这不并使得服务提供者免于患者的不当对待。在提供医疗服务过程中,公立医院的医生们常
广告代理制是市场经济的产物,是一种市场运营机制,不是行政管理体制。广告代理制必须受市场经济原则的制约。广告代理的收费方式是建立在广告主与广告公司双方协商的基础之上
Matlab(MATrix LABoratory的简称)是Clever Moler博士用Fortran语言开发的科学计算工具。它已成为科学研究、工程计算、应用开发的重要工具。国外已将它作为理工科大学的必修
1997年2月,美国总统克林顿公开发表了被称为21世纪美国“独立宣言”的施政纲领——“网络新政”:要用电脑和网络把信息社会的美国与工业化的现代化国家差距重新拉大到类似于1840年工业社会
介绍了烧结页岩砖墙体拟静力试验方案、墙体破坏情况等相关试验现象。通过试验墙体的破坏情况以及MTS所记录的试验数据,绘制墙顶荷载位移曲线,进一步分析了矩形孔烧结页岩砖
以番木瓜和无核椪柑为主要原料,对番木瓜柑桔复合澄清果汁生产工艺进行了研究,采用正交试验法获得混合果汁的最优配方:番木瓜原汁20%、柑橘原汁20%、蔗糖8%、柠檬酸0.08%。试