排名问题广泛的运用在生活中的方方面面,如世界大学的排名,搜索引擎提供的网页排名,体育赛事中的球队排名,生物领域的基因识别等,排名的需求和运用使得越来越多的研究者关注排名问题。人们致力于提出排名和利用排名,却忽视了对排名的评价。在实际应用中,为提高排名的客观性和公正性,同一组对象往往有多个排名,例如不同机构发布的大学榜单、比赛中不同评委给出的排名。如何根据多个排名给出的信息去评价排名的真实程度称为排名评价。对排名的评价能够衡量出排名的客观性和公正性,甄别出多个排名中的“害群之马”,指导排名的改进,获得更有的排名结果本文以排名理论为指导,综合运用图论、概率论、数理统计、计算机仿真等多学科领域知识,围绕着“怎样寻找排名评价的基准”“怎样评价排名的异常程度”“怎样评价排名的公正程度”“怎样评价排名的稳定程度”四个问题,系统深入地研究了排名评价方法的建模、分析及其应用。本文主要研究工作及创新点如下:(1)提出了一种基于迭代的排名聚合方法针对当前排名聚合方法的不足,提出了基于迭代的排名聚合方法,通过迭代,不断更新单个列表的权重,使得好的排名列表的对聚合排名的贡献度增加,而差的排名列表的贡献度减少,最终聚合列表更逼近于真实排名,从根本上改进了传统排名聚合方法。为了评价排名聚合方法的有效性,利用计算机仿真技术,建立排名过程仿真模型,发现基于迭代的排名聚合方法能够减少排名中的不一致对数,提供更准确的排名结果。(2)提出了三种排名评价的方法针对当前排名评价方法的不足,从排名的异常程度、公正程度和稳定程度三个角度,提出了基于异常值、基于公正性、基于稳定性的排名方法。给出了评价单个排名对象的异常值指标,提出了评价排名列表的异常值模型;给出了群体和群体质量的定义,提出了评价排名公正性的模型;给出了稳定性的定义,给出了评价排名稳定性的模型。为了更好地展现结果,对上述三种评价方法,分别通过热点图、气泡图和折线图进行可视化展现。(3)研究了世界大学榜单评价本研究将排名评价方法应用到大学排名领域中,针对目前众多的世界大学榜单,利用上述方法测量和评价5个知名榜单中异常排名的情况,对不同区域的大学的排名是否公正客观,从时间维度上看,榜单是否足够稳定,发现QS榜单和其他榜单的排名差异比较大,发行榜单的机构所在地会对本土的学校有一定的优待,而在时间维度上分析,世界大学榜单并没有提供一个足够稳定变化的排名。对大学榜单的评价有利于改进现有的大学榜单的排名方法,对大学榜单具有指导意义。