论文部分内容阅读
目的:科研评价和数据分析是卫生事业管理领域的重要研究方向之一,目前科研评价相关研究主要集中在科学学和信息学领域,从卫生事业管理角度进行的科研评价研究较少。学术论文评价是科研评价的基础,存在于多个科学研究活动中,比较重要的应用是在科研机构、团队和个体的科研绩效评价中,在科研资源分配、科研奖励、职务升迁等决策中同样占有重要地位,是科研管理和评价的刚需。传统的学术论文评价多采用引文计量的方式,但是引文表现的是论文的影响力,属于论文的外部特征,而且存在学科引用行为的差异、自引和他引的区分以及时间上的滞后性等问题,尤其通过期刊影响因子来代替单篇论文质量的做法,使得论文评价在实践中广受诟病。学术论文学术水平和创新贡献是科研管理和评价的重中之重,论文评价的本质应该是对论文内容价值的评价,由学术论文的自身内容和所处环境共同决定。论文内容是学术论文的根本属性,基于论文内容这一根本属性进行的评价才能客观真实地反映论文本身的价值。基于学术论文内容的评价研究分为定量评价和定性评价,而目前存在的基于内容的评价方法忽视了论文在整个科学体系中的作用,即个体对于整体的贡献程度,而论文重要性的评价更多的意义在于该论文在科学发展进程中所起的作用,因此应该寻找能够从科学整体性上揭示论文重要性的可行性方法,从系统科学的角度对学术论文的质量进行系统评价。文献网络的论文节点对于网络整个结构的意义与一篇论文对于整个学科结构的意义存在某种程度的契合,为我们从文献网络的角度评价一篇论文在整个学科中的重要性提供了新的思路,而通过构建文献网络,从网络的整体结构评价一篇论文的重要程度的相关研究还不够系统。本研究的目的是通过构建文献相似性网络,从网络的整体角度根据节点属性评价论文的重要性,从而构建论文重要性评价模型,探讨从文献网络的角度评价论文质量的可行性,以期为从系统科学的角度评价论文质量提供新的思路和方法。方法:根据ESI学科分类体系选择八个医学相关学科,下载Pub Med数据库和Web of Science数据库中的文献,形成八个学科文献数据集,根据文献是否被Faculty Opinions数据库收录将每个数据集中的文献标记为F1000论文和非F1000论文两个类别,以此作为数据集中重要论文和普通论文的分类标准。采用三种文献网络构建方法对八个学科文献数据集进行三种文献网络建模:利用R语言编程实现基于文献主题词和分类号层级关系的语义相似性文献网络的构建;利用Python编程语言实现基于Doc2Vec算法的内容相似性文献网络的构建;利用Bicomb2.0和VBA编程语言实现基于文献参考文献共现频次的文献耦合网络的构建。根据三种文献相似性网络的相似性分值分布情况,对语义相似性文献网络和内容相似性文献网络的阈值进行设定,语义相似性文献网络阈值设置为0、0.05、0.1、0.15、0.2、0.25、0.3、0.4和0.5,内容相似性文献网络阈值设置为0、0.1、0.2、0.3、0.4和0.5,文献耦合网络不设阈值的限制。基于复杂网络分析法,利用Gephi网络可视化软件对三种文献相似性网络的整体属性和节点属性进行计算,获得三种文献相似性网络的基本属性数据。在每个文献相似性网络中存在两种节点:F1000论文节点和非F1000论文节点,探讨这两类论文在节点属性上是否存在差异,哪些指标存在差异,对各个网络中的两类节点的属性进行了统计学差异性检验,检验方法为独立样本t检验,据此筛选出具有差异性的节点属性作为区分两类节点的评价指标。在基于筛选出的评价指标构建论文重要性评价模型的过程中,我们采用四种机器学习的算法,分别是贝叶斯分类算法、BP神经网络算法、懒惰分类算法和随机森林算法,对三种类型的文献相似性网络节点数据集进行论文重要性评价模型的构建。从论文重要性评价模型识别F1000论文和非F1000论文的精度、查准率、查全率、F-值、AUC、PRC面积等六个指标评价模型的性能优劣,探索适用于论文重要性评价的文献网络类型和机器学习算法。结果:利用三种文献网络构建算法计算八个学科文献数据集中的文献相似性,我们针对每个学科分别构建出语义相似性文献网络、内容相似性文献网络和文献耦合网络。三种文献相似性网络在相似性分值的分布形态和网络拓扑结构上存在差异,语义相似性文献网络和文献耦合网络的相似性分值存在较高比例的极低值,内容相似性文献网络的相似性分值呈正态分布,相似性分值在[0.198-0.26]区间的比例最高。语义相似性文献网络和内容相似性文献网络在阈值为0时的网络拓扑结构不清晰,所有节点紧紧连接成一个大的团簇,需要提高相似性分值的阈值使网络的拓扑结构更为清晰,文献耦合网络的网络拓扑结构比较清晰。通过设定阈值,最终我们得到八个学科不同阈值不同类型文献相似性网络共128个,以及这些网络的整体属性和节点属性。在F1000论文和非F1000论文两类节点的属性差异性t检验中,我们筛选出具有五个及以上差异性指标的有效网络38个,以及具有差异性的节点属性指标共十个:权威值、特征向量中心性、度、三角形数目、调和接近中心性、加权度、Page Rank、接近中心性、度变异系数和聚类系数。对三种文献网络的节点数据集进行机器学习构建出四种论文重要性评价模型。三种文献网络节点数据集中F1000论文比例非常低,在4%-7%之间。基于信息增益理论对不同类型文献网络的指标重要性进行排序,结果发现,三种类型文献网络的指标重要性排序情况不同,而Page Rank指标在三种类型文献相似性网络的重要节点识别中能力均较强,其次是度变异系数。四种论文评价模型的混淆矩阵中,贝叶斯分类器识别F1000论文数量最多,语义相似性文献网络、内容相似性文献网络和文献耦合网络识别出的F1000论文数量分别是143篇、41篇和81篇,查全率分别为0.126、0.129和0.345。BP神经网络算法识别出的F1000论文数量最少。从论文评价模型的评估指标来看,贝叶斯分类器、BP神经网络、KStar和随机森林算法训练的论文评价模型平均精度分别是88.08%、94.60%、92.66%和94.51%,在F1000分类中,三种类型文献相似性网络在四种算法上的AUC均值分别是0.633、0.679、0.636和0.673,PRC面积均值分别是0.092、0.118、0.097和0.122。从文献相似性网络的类型角度分析,内容相似性文献网络在F1000分类中精度最高,四种分类算法平均精度为94.60%,文献耦合网络在AUC和PRC面积两个指标中表现最好,四种分类算法平均AUC和平均PRC面积分别是0.707和0.145。结论:通过构建文献相似性网络,根据两类节点属性的统计学差异筛选评价论文重要性的指标,利用机器学习算法构建论文重要性评价模型的方法是可行的。同一类型文献相似性网络中,八个学科在网络结构和识别重要节点的能力上存在差异,文献相似性网络的平均距离越小,识别重要节点的能力越强。三种文献相似性网络构建的论文重要性评价模型性能差异较小,内容相似性文献网络和文献耦合网络构建的论文重要性评价模型性能略优于语义相似性文献网络。在构建论文重要性评价模型的机器学习算法上,随机森林算法表现最好,其次是BP神经网络算法,贝叶斯分类算法和KStar算法的表现略差,但是后两者在识别F1000论文的数量中表现较好。