业内信息

学术排行榜:科学评价还是数字游戏?

2020-06-01 来源:中国新闻出版广电报 朱剑
  在近年来的学术界,有关学术评价的每一次热议大多与新的学术排行榜问世相关。

  学术排行榜其实是个舶来品,至少可追溯到20世纪50年代美国文献学家加菲尔德对引文集中分散定律的发现。加氏由此开创了文献检索的新途径——引文检索,设计并开发了堪称“神器”的SCI(科学文献引文索引)。排行榜是作为其副产品问世的,借助数据优势很快就成为长时段、大样本评价的利器。随着SCI及其排行榜的风头日健,仿效者也随之涌现,从大学、学科到团队、学者,各种排名不一而足。虽然名目众多,但万变不离其宗,多以著名学术期刊的数据为本,期刊榜可谓“排行榜之母”。

  SCI被中国学界广泛知晓是20世纪80年代后期的事。从那时起,依据SCI等检索工具制作的排行榜就开始运用到科研资源分配和管理之中。随着国际排行榜的走红,北京大学、南京大学等高校以及中国科学院、中国社会科学院相继建立了评价机构,每个机构都有排行榜定期发布。至于关注度,仍首推期刊榜,学界有所谓“北核”“南核”或“三大核心”之说,都是出自这些机构。当然,有“母榜”就不会少了各类衍生排行榜。这些排行榜在社会上引起了很大反响,排行榜的“指挥棒”效应就此形成。

  评价机构的数字游戏

  所有评价机构无一例外,都将其排行榜产品称为科学、客观的定量评价成果。那么,什么是定量评价?排行榜又是如何从“定量”中得来的呢?

  所谓定量评价,简单说来就是运用量化分析的手段,通过对研究对象相关数据的采集、分析、运算,得出相关结果的方法。作为研究方法,量化分析比排行榜的历史可长多了。如今普遍应用于各学科的量化分析虽各有特点,但功用大致相同,即通过数据采集和分析,对具有模糊性的长时段、大样本研究对象予以清晰地描述,故而一些基本原则是必须共同遵守的。首先,所采集的数据必须基本覆盖研究对象的实质性内容;其次,算法的科学合理必须得到证明;再次,对运算结果必须进行专业解读;最后,作为一项专业性极强的工作,量化分析的主体必须是各学科的专业学者。

  出自评价机构的排行榜是不是量化分析的结果呢?从其评价对象比如期刊、大学、学科来看,所要处理的确实是具模糊性和长时段的大样本,运用量化分析方法是合适的;再从其运作的形式来看,似乎也是通过采集数据进行运算得出的,但仔细推敲就可发现其量化分析有点似是而非。首先,所有评价机构所采集的都是形式数据,与要评价的内容缺少直接关联;其次,评价机构的所谓算法大多是随意性极强的加权;再次,所有评价机构都缺损了对其所采集的数据进行专业分析和解读的程序;最后,外行评价内行,不懂专业是评价机构的致命伤。

  当数据不涉及评价内容、算法无科学根据、评价者不具备专业能力诸样集于一体,评价机构的排行榜离科学评价的距离还是有点远,充其量也就是个仿真的数字游戏。

  排行榜评价的利弊得失

  众所周知,只有同行评议才具有权威性,但近20多年来,深陷利益争夺泥淖的同行评议已不堪信任,而以公平、客观、科学相标榜,且简明性一目了然的评价机构的排行榜,从20世纪90年代开始逐步取代同行评议的过程,实际上就是一个权威性转移的过程,行政管理部门的采信则是其中关键一环。

  排行榜在资源分配和科研管理中的运用给学术生态带来了深刻影响。一方面,促进了学术成果数量的快速提升,客观上对某些离谱的同行评议起到了一定的遏制作用;另一方面,排行榜对学术管理的渗透无孔不入,而当其成为个人或团队学术成果这样小样本评价的依据时,弊端立现,教师乃至学生的名誉和利益皆系于此,结果就是学术风气恶化,学术乱象丛生。

  对排行榜滥用之弊各界已有共识,从教育部、科技部等多个部委发文清除“四唯”“五唯”到破除“SCI至上”,都是对排行榜评价的否定,同行评议正在回归。但昔日被逐如此轻而易举,如今回归恐难一帆风顺,如何确保公正,仍有待观察。至于排行榜,作为一种数字游戏也许永远有存在下去的理由,比如大学和学科排名不失为考生填报志愿时有价值的参考,而在资源分配和学术管理中,排行榜仍会顽强地发挥影响。可以断言的是,只有同行评议的权威性和公正性重新确立之日,方是排行榜真正退出学术评价之时。

  (作者系《南京大学学报》原执行主编)

国家广播电视总局 | 湖北省人民政府 | 中国邮政集团公司 | 武汉市人民政府 | 中国期刊协会 | 中国图书进出口(集团)总公司 | 中国邮政集团公司报刊发行局 | 湖北省广播电视局 | 湖北日报传媒集团 | 长江广电传媒集团 | 长江日报报业集团 | 知音传媒集团 | | 湖北中图长江文化传媒有限公司 | 决策信息网 | 湖北新闻出版广电传媒周

copyright(c) 2013 湖北省新闻出版局 版权所有 技术支持

鄂ICP备19004605号-4  鄂公网安备 42010602004016号