业内信息

期刊评价指标亟待转型——厘清定位 做“有限的”期刊评价

2014-07-01 来源:中国社会科学报

  【核心提示】期刊评价是依据特定的方法和规律运作的,其结果具有“相对性”和“有限性”,对其结果更应提倡“有限”使用,而不能成为放之四海而皆准的“指挥棒”。呼吁期刊回归到期刊质量评价上来,给期刊评价减负,期刊评价才能顺利良好地继续发展。

  据媒体报道,复旦大学和中国人民大学等学校在职称评审制度中实行了代表作制度,消息甫出,叫好声一片。代表作制度确实使得以论文量及所刊发期刊级别一统天下的科研管理有了突破性的尝试。事实上,应该倡导期刊评价的“有限”使用,期刊评价是在特定状况下,依据一定的方法和规律产生的,有其自身的特性,其评价结果并非绝对,而是相对的;目的也并非仅仅是评价科研成果,而是与期刊发展息息相关;期刊评价有其自身特点,尚处在不断发展和完善的过程中。

  期刊评价被强压于肩的两大异化功能——科研成果评价“指挥棒”、期刊生存发展“指挥棒”,使得期刊和高校科研人员都疲于应付、苦不堪言。理解期刊评价的“有限性”,加上类似代表作制度的管理方面的尝试,或许能促使期刊评价回归其本身的意义及位置所在。

  合理认识评价体系自身特征

  在期刊评价领域,有多种期刊评价,包括政府部门、学会、数据库出版商以及专门评价机构等实施或运作的期刊评价,专门评价机构所作的期刊评价目前运用较为广泛。但这些专门的期刊评价各有自己的特征,而使用者往往不熟悉这些特征或者忽略这些特征。

  以南京大学的“中文社会科学引文索引”(CSSCI)为例,该校信息管理学院教授叶继元表示,南大版的特色主要是为自建的引文索引评选出来源期刊,即选择一些期刊作为引文索引库数据的统计源,且主要是文科期刊,评价指标主要是引文数据指标和同行专家意见,其实是“来源期刊”,严格讲,来源期刊与核心期刊既有联系又有区别。

  北京大学的《中文核心期刊总目要览》,学科比较多,直接目的是优化图书馆选刊,同时也有评价作用。中国社会科学院文献计量学研究室主任姜晓辉介绍,中国社科院的《中国人文社会科学核心期刊要览》,是为研究人员和学者提供一些比较好的科研用刊,入选期刊量比较少。从学理上说,北大和社科院评价出的是比较相近的、传统的“核心期刊”。

  叶继元和姜晓辉都表示,对来源期刊、核心期刊的追崇,跟它们的原意有点不一样了,已把来源期刊、核心期刊的筛选标准完全等同于优秀期刊的评价标准。

  从这几个评价体系评审结果看,多数期刊均被选中,说明三者有共性的一面,但由于评价目的不一,指标设置、权重不同,期刊分类各异等原因,入选期刊的数量和种类也有一些不同。

  不同的评价体系都可以用来评价,但使用的时候要区别它们的功能、用处,根据需要去选用评价体系,不存在一个通用的模式。姜晓辉表示,选用这些数据,以及选用知网、万方的数据时,也一定要搞清楚这些数据的语境,而不是找个排行榜,生搬硬套。

  期刊评价方法尚待完善

  对于外界批评甚多的现行期刊评价主体单一、评价方法存在不足,评价界人士也表示,期刊评价体系尚待完善。

  对于呼声甚广的回归同行评议观点,姜晓辉表示,同行评议确实有很直接、很重要的作用,是国际公认的评价方法;但它也有局限性,它完全依靠专家的水平和素质,依靠良好的学术生态环境。自改革开放以后,学术期刊发展很快,数量很多,而学术大家和权威相对较少,完全采用同行评议往往受到学术环境、专家数量、专家知识背景和眼界的影响,在实际操作中遇到障碍。因此,求助于定量方法,也是有客观需求支撑的。我们应该提倡的是科学、合理、适用的评价方法,而同行评议、定量与定性相结合的评价方法,都是可供选择的好方法。

  叶继元认为,期刊界人士、学者、科研管理部门、评价机构都可以是评价主体,但要以专家学者为主导。有的评价,期刊主编可以参加,有的则应回避。对于评价主体的选择应依据评价目的而定。对期刊质量的复杂、精细的评价,目前关键问题是要建立完善“同行专家库”,将专家学者组织起来,进行严格的制度化控制及学术伦理提升,从制度和道德两个方面保证同行评议的公信度。此外,由何机构具体组织、阳光操作也至关重要。

  姜晓辉表示,现有的主流评价体系存在很多亟待改进和完善的地方,有些指标和方法还缺乏深入研究,期刊评价机构不能只注意话语权,而不在自身建设上下功夫。

  科研管理简单化放大评价结果不足

  以发表论文数量和级别为核心的科研考核管理机制长期盘踞在教育系统,是导致期刊评价结果滥用和异化的主要原因之一。

  公开资料显示,北京多家知名高校都规定,发表论文是教师职称晋升的条件。规定还明确,文科教师的学术论文,至少应有2/3发表在某评价体系认定的刊物上。

  姜晓辉表示,各种期刊评价体系有着自己的评价功能和范围,但科研管理部门简单地使用指标和方法去评价比较复杂的问题,会导致结论的偏颇。核心期刊有一定的评价功能,是从“优秀期刊产生优秀论文”的正向推导而定的,并非所有论文都会“文以刊贵”。论文的水平高低,还是应该由同行专家来评定,发表的载体只能作为一种参考。

  具体到如何调整上,叶继元举例称,如果只是为了了解教师一年工作量的简单评价,不是为了发放研究奖金或其他资源的研究内容、效用的实质性精细评价,可以采用查找引文数据库、自报成果数量等方式。如果是为了评价出国内一流“杰出人才”,则要对评价对象的研究成果、能力等进行实质性精细评价,需要采用同行评议(定性评价)为主,引文等计量评价补充、验证的综合评价方法。同行评议法、引文等评价法、综合评价法都有各自的特点与使用范围,一定要根据不同的评价目的来选择、使用,切忌简单化行事。

  在已经实行了代表作制度的中国人民大学,其科研处处长杜鹏教授也认同目前的科研管理存在简单化倾向这一观点。他表示,学校排名、学科排名等,都是比较强调期刊论文发表的数量和期刊等级,比如说,在顶级期刊上发表了多少文章等,现在从上到下存在这样一种方式,虽然学校可以微调,可以辅助以代表作、咨询报告制度等,但从上到下的指标都应该调整,才能从根本上扭转这种趋势。

  能否超越期刊发展“指挥棒”

  曾有知名学术期刊的主编感慨,一旦被排除在“核心期刊”之外,连生存都成了问题。这绝非空话,由于受到科研管理的影响,发表在被评价认可的期刊上的文章被计为科研成果,没有进入评价系统的期刊往往连稿源都成为问题。此外,评价结果往往与一些期刊的办刊资金挂钩,也因此造成了学术期刊界的部分不端现象。

  不止一家期刊评价机构的负责人表示过,存在主编跑排名、学术期刊失范,以及互相指责对手期刊违规等现象。

  姜晓辉称,有这种现象的存在,表明评价指标统计源的可靠性也出现了问题。或出于竞争的压力,或出于浮躁的心态,有些期刊对照统计指标的内容,人为拔高甚至干预引用数据的生成,例如,有的修改作者参考文献,有的相约互引,有的出钱奖励引用,总之用各种方法提高期刊的被引率,这都是在过分强调期刊评价情况下出现的非常不正常的现象。所谓“指挥棒”,似乎可以说是由评价机构制造的,拿在管理者手中的,期刊不得不听从的棍棒。而正确的关系应是,期刊评价体系服务于期刊,期刊服务于读者和作者。

  对于争夺有限资源而产生的问题,叶继元表示,核心期刊承载了太多非关期刊本身的内容,使得核心期刊的评选“不能承受之重”。目前迫切需要明确来源期刊、核心期刊的评价目的,是回归到来源期刊、核心期刊原本含义上来评价,还是重新定义来源期刊、核心期刊,以评选出高质量期刊为目的来评价。如果是前者,即不是评选好期刊,则可以引文数据指标为主,辅以同行评议。这是一条自己摘掉“指挥棒”桂冠,回归来源期刊、核心期刊原本概念的路。如果是后者,即是评选优秀期刊,则可以专家评价为主,辅助以引文数据等文献计量学指标。对于优秀期刊,既有一定的数量限制,又不能限制太紧。尽管来源期刊、核心期刊与优秀期刊有很强的正相关性,但毕竟不是一回事。后面这条路仍然不易走。

  杜鹏表示,该校对所属期刊的经费支持等比较平均。他认为还是应该按期刊的实际发展现状给予支持,而不是按它的某个级别,尤其在期刊获取方便的状况下,更应该以期刊本身论文的质量来评价期刊影响的大小,对此,期刊资助体系也应该积极改变。

  回归期刊质量评价

  “有限的”评价意味着期刊评价并非万能的,要更加充分、有效地改进和利用期刊评价。

  姜晓辉表示,“有限的”评价还应该是具体的评价。要回归期刊的质量评价,可以在诊断式评价上有所作为。他表示,期刊评价不只是一个期刊排行榜的问题,它还是一个客观评估和分析期刊状态的过程。可以运用多种评价指标对期刊的发展进行纵向的历时性分析,同时可以和同类期刊进行横向比较。还可以利用引文数据对期刊的内容进行学科类别分析,对期刊在各学科领域的强项、弱项、编辑方针、栏目设置等多项指标进行分析,找出编辑业务的改进重点。

  叶继元也指出,期刊评价可以进行期刊质量、创新评价,即以同行专家学者为主导,广大读者参与,引文等计量指标为补充、校正,改变以往单纯以文献计量评价方法为唯一或为主的方法。期刊评价要回归到期刊质量评价上来,此外,需要向科研管理者普及有关评价的知识,各评价机构也应自律,不要有意无意误导。专家学者应积极介入,共同制定关乎切身利益的各种“评价规范”,以便建立相对公正、合理的学术次序,营造宽松的学术环境。

国家广播电视总局 | 湖北省人民政府 | 中国邮政集团公司 | 武汉市人民政府 | 中国期刊协会 | 中国图书进出口(集团)总公司 | 中国邮政集团公司报刊发行局 | 湖北省广播电视局 | 湖北日报传媒集团 | 长江广电传媒集团 | 长江日报报业集团 | 知音传媒集团 | | 湖北中图长江文化传媒有限公司 | 决策信息网 | 湖北新闻出版广电传媒周

copyright(c) 2013 湖北省新闻出版局 版权所有 技术支持

鄂ICP备19004605号-4  鄂公网安备 42010602004016号